树莓派在家中至少三个作用： 、`无线打印服务器 下载服务器`。 家庭资源共享中心用 实现家庭局域网共享，树莓派4B的话可以接2个3.0的移动硬盘。 实测速度不快，Win读 写`1Mb/s 1Mb/s 0.5Mb/s`，传小文件比较方便，备份资料可以的，视频不是超高清也能放，但是大文件建议还是直接接电 ...
分类：
其他好文 时间：
2020-03-28 15:02:31
阅读次数：
307
一、什么是FastDFS？FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：文件大小为4KB-500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系
分类：
其他好文 时间：
2020-03-27 23:26:10
阅读次数：
84
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
hive 优化 1、需要计算的指标真的需要从数据仓库的公共明细自行汇总吗？2、真的需要扫描那么多的分区么？3、尽量不要使用 select * from table这样的方式4、输入文件不要是大量的小文件 group by引起的倾斜优化: R:group by引起的倾斜主要是输入数据行按照group ...
分类：
数据库 时间：
2020-03-25 19:41:04
阅读次数：
90
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2020-03-25 18:49:49
阅读次数：
85
hdfs有点：高容错性。自动保存多个副本，副本丢失自动恢复，文件处理规模大，可以放置在廉价的机器上面 缺点：hdfa对每一个小文件都有记录，无论大小都会占用内存解决方法是合并处理，不适合低延时的数据访问 文件块的大小决定于磁盘的数据传输效率：一般的是128mb，老版本是64mb，本地模式是32mb， ...
分类：
其他好文 时间：
2020-03-16 13:14:29
阅读次数：
72
RTOS上常用的掉电安全的小文件系统并不多，SPIFFS和LittleFS是这方面的佼佼者。今天我们就从开源协议、社区维护情况、静态/动态内存、掉电安全与修复、CPU占用和读写性能的多个维度比较两者的优劣 ...
分类：
其他好文 时间：
2020-03-15 19:08:36
阅读次数：
381
MapReduce程序瓶颈 计算机性能 CPU、内存、磁盘、网络 I/O操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待过久 小文件过多 大量的不可分块的超大文件 spill次数过多 merge次数过多 MapReduce优化方法 主要从六个方面考虑：数 ...
分类：
其他好文 时间：
2020-03-14 11:21:18
阅读次数：
53
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景？ 适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据 ...
分类：
其他好文 时间：
2020-03-10 11:56:30
阅读次数：
66
1 shell命令：如何查询内存大小 文件大小和端口有没有被占用等 awk获取行列内容 2 文件的静态链接和动态链接的过程 3 文件的编译原理 4 cs模型和bs模型等编程模型 5 C++11的新标准特性 6 epoll的内部实现 双向arry+红黑树？ 7 线程的资源 存放在哪里 栈指针？ 8 c ...
分类：
其他好文 时间：
2020-03-10 11:35:26
阅读次数：
46
