Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间..
分类：
其他好文 时间：
2016-05-11 23:58:38
阅读次数：
421
前言
前一篇文章中刚刚分析完HDFS的异构存储以及相关的存储类型选择策略,浏览量还是不少的,说明大家对于HDFS的异构存储方面的功能还是很感兴趣的.但是其实一个文件Block块从最初的产生到最后的落盘,存储类型选择策略只是其中1步,因为存储类型选择策略只是帮你先筛选了一些符合存储类型要求的存储节点目录位置列表,通过这些候选列表,你还需要做进一步的筛选,这就是本文所准备阐述的另外一个主题,HD...
分类：
其他好文 时间：
2016-04-22 20:57:57
阅读次数：
278
1.HDFS存储架构 (1)HDFS 架构 —— 文件 1)文件切分成块（默认大小64M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3）2)NameNode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的
分类：
其他好文 时间：
2016-03-08 23:51:39
阅读次数：
226
副本放置策略副本放置策略的基本思想是：
第一个block副本放在和client所在的node里（如果client不在集群范围内，则这第一个node是随机选取的，当然系统会尝试不选择哪些太满或者太忙的node）。
第二个副本放置在与第一个节点不同的机架中的node中（随机选择）。
第三个副本和第二个在同一个机架，随机放在不同的node中。
如果还有更多的副本就随机放在集群的node里。Had...
分类：
其他好文 时间：
2015-06-03 23:32:22
阅读次数：
191
hadoop中重要的组成部分HDFS，它所发挥的重要作用是进行文件的后端存储。HDFS针对的是低端的服务器，场景为读操作多、写操作少的情况。在分布式存储情况下，比较容易出现的情况是数据的损害，为了保证数据的可靠和完整，实现了数据的检验和（checksum）和多副本放置策略等措施。在HDFS中采...
分类：
其他好文 时间：
2015-01-10 11:13:55
阅读次数：
325
