现有的日志都会存在 access.log 文件中，但是随着时间的推移，这个文件的内容会越来越多，体积会越来越大，不便于运维人员查看，所以我们可以通过把这个大的日志文件切割为多份不同的小文件作为日志，切割规则可以以天为单位，如果每天有几百G或者几个T的日志的话，则可以按需以每半天或者每小时对日志切割一 ...
分类：
其他好文 时间：
2019-12-22 16:15:13
阅读次数：
83
报错：传输6G压缩包报错，xshell文件传输上限是4G 解决办法：将大文件切割成小文件传输出来，再合并 Linux tar打包和split分割 压缩命令主要用到tar打包和split分割，命令如下： tar czf aaa | split b 1024m bbb.tar.gz_ aaa可以是文件也 ...
分类：
其他好文 时间：
2019-12-04 13:12:25
阅读次数：
145
1. hdfs存文件的时候会把文件切割成block，block分布在不同节点上，目前设置replicate=3，每个block会出现在3个节点上。 2. Spark以RDD概念为中心运行，RDD代表抽象数据集。以代码为例： sc.textFile(“abc.log”) textFile()函数会创建 ...
分类：
其他好文 时间：
2019-11-22 13:26:33
阅读次数：
63
问题重现 由于视频的录制过程出现了一些小问题，需要重新将视频文件切割和合并，找了几个视频编辑软件来做这个事情，最终的结果都不是特别满意，当时已经挺晚的了，本来打算上床睡觉第二天再去想辙，从椅子上起身的时候忽然想到了 ffmpeg 这个工具，挺久之前在工作中用它做了一个视频切割相关的功能，于是赶紧把它 ...
分类：
其他好文 时间：
2019-09-12 23:26:42
阅读次数：
135
总所周知，上传大文件时由于各种原因突然中断，然后整个文件需要从头开始上传，这种情况非常令人抓狂😫，那么怎样才可以避免这种尴尬的情况呢？分片上传或许可以搞定这个痛点 原理：文件上传就是把文件切割成一个个小小的块，然后块逐一上传 后台约定接口： 1.getRestChunkInfo 获取当前文件的上传 ...
分类：
编程语言 时间：
2019-09-05 01:18:57
阅读次数：
136
题目解读 1. 文件格式：访问时间,来源IP,响应结果,响应耗时 2. 文件大小：超大规模，TB数量级 解题思路 首先，数据量过大，通过内存计算肯定是不可行的。 考虑采用分治，将大文件切割成小文件，再对小文件分析，找出访问次数最多的，此时将问题转化为：切割小文件算法 具体思路如下： 将1T的文件按照 ...
分类：
其他好文 时间：
2019-03-18 13:28:16
阅读次数：
168
split 将一个大文件切割成较小的文件，默认情况下每1000行就会切割一次。分割后的文件，默认以xaa、xab、xac等命名。用户亦可以指定名字的前缀，例如指定前缀test，那么分割后的文件是testaa、testab、testac等。 此命令的适用范围：RedHat、RHEL、Ubuntu、Ce ...
分类：
系统相关 时间：
2018-11-30 17:34:08
阅读次数：
267
linux主机上，将一个大文件切割成N个小文件 （1）按字节拆分 split -b 1m itable_transfer_145028.138.21.log >>>>split -b 1m itable_transfer_145028.138.21.log -rw-rw-r--. 1 billapp ...
分类：
系统相关 时间：
2018-08-03 19:50:37
阅读次数：
154
想达到的目的：将一个mp4视频文件切割为多个ts片段，并在切割过程中对每一个片段使用 AES-128 加密，最后生成一个m3u8的视频索引文件； 电脑环境 Fedora,已经安装了最新的ffmpeg； 如果要加密，首先准备好一下两个东西： 加密用的 key 另一个是 iv 新建一个文件 enc.ke ...
分类：
其他好文 时间：
2018-06-14 20:55:02
阅读次数：
1237
