https://mp.weixin.qq.com/s/y29UmteibObCbYZgqLWG7A 简单介绍BootROM的实现。 1. BootROMParams 记录BootROM相关的参数： 其中： a. address: BootROM的地址； b. size：占用地址空间的大小； c. h ...
分类：
其他好文 时间：
2020-04-30 11:14:31
阅读次数：
92
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
编程语言 时间：
2020-04-27 15:01:34
阅读次数：
90
一、打包和压缩 打包：将一大堆文件或目录变成一个总的文件 压缩：将一个大的文件通过压缩算法变成一个小文件 原因：linux中的压缩只能针对一个文件进行压缩，当要压缩一大堆文件时，就需要先打包成一个总的文件，然后再压缩。 tar的重点选项 1. 打包 2. 调用gzip .gz结尾的文件就是gzip压 ...
分类：
系统相关 时间：
2020-04-26 20:47:58
阅读次数：
73
小文件问题原因： ① 众所周知，小文件在HDFS中存储本身就会占用过多的内存空间，那么对于MR查询过程中过多的小文件又会造成启动过多的Mapper Task, 每个Mapper都是一个后台线程，会占用JVM的空间。 ② 在Hive中，动态分区会造成在插入数据过程中，生成过多零碎的小文件。 ③ 不合理 ...
分类：
其他好文 时间：
2020-04-19 13:17:44
阅读次数：
89
[设计模式]观察者模式 1. 观察者模式解决什么问题 观察者模式解决“通知依赖问题”，比如一个文件过滤器，你要显示进度，如何解决？我们最先想到的是里面生成一个通知方法，然后有关行为调用这个方法来进行通知。 如下面一个代码，是一个文件分割器，将一个大文件分割成很多小文件；我们现在对其提出一个进度条需求 ...
分类：
其他好文 时间：
2020-04-19 13:04:19
阅读次数：
56
文件上传下载过程中经常会遇到网络不稳定,或者传输软件限制传输的文件大小之类的问题.在当今换没有出现很好的软件的时候,一个available方法是将大文件切片,也就是 切成小文件,然后通过其他方法put/get. linux中的切片使用的是splie命令. 常用方法: split -b 200m(小片 ...
分类：
其他好文 时间：
2020-04-18 11:41:46
阅读次数：
59
一、什么是FastDFS？FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：文件大小为4KB-500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系
分类：
其他好文 时间：
2020-04-15 15:16:43
阅读次数：
65
Empcat的成功软件包应采用Laravel设计。用户可以上传任何大小的文件。出于安全原因，必须静态加密这些文件。 Laravel提供加密，但是它们主要用于加密值。它使用加密的帮助程序方法很好地加密了小文件，例如图像，但是在此过程中，必须将文件的内容加载到内存中，这对于大文件是个问题。 我寻找了解决 ...
分类：
其他好文 时间：
2020-04-14 10:55:30
阅读次数：
78
图片方面 一般常见的图片优化方法有： 减小文件体积 减少图片资源请求数量 几种图片比较： 大小比较：通常是 png ≈ jpg gif 透明性：png gif jpg 色彩丰富度：jpg png gif 兼容程度：gif ≈ jpg png 图片优化加载的几种方式： 1、不用图片。很多修饰类图片可以 ...
分类：
Web程序 时间：
2020-04-08 13:36:41
阅读次数：
91
某PHP项目runtime目录下的debug目录有大量碎文件，大概600G，用rm 根本删不动，用lsof | grep delete 也没有程序占用，最后用rsync a delete kong/ debug/ 解决的，先mkdir kong，后执行命令，空间逐步恢复。 附：几个删除大量碎文件的方 ...
分类：
其他好文 时间：
2020-04-02 11:48:28
阅读次数：
108
