一、背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 Hadoop ...
分类：
其他好文 时间：
2017-06-30 00:56:41
阅读次数：
265
1、主机规划序号主机名IP地址角色1nn-1192.168.9.21NameNode、mr-jobhistory、zookeeper、JournalNode2nn-2192.168.9.22Secondary NameNode、JournalNode3dn-1192.168.9.23DataNode... ...
分类：
Web程序 时间：
2017-03-01 15:54:24
阅读次数：
576
转自：http://www.cnblogs.com/tgzhu/p/5790572.html client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副 本分别放在不同机架，甚 ...
分类：
其他好文 时间：
2016-11-05 09:43:10
阅读次数：
194
Hadoop机架感知 1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份， 同机架内其它某一节点上一份，不同机架的某一节点上一份。 这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快； 同时，如果整 ...
分类：
其他好文 时间：
2016-09-13 19:17:40
阅读次数：
175
client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之 ...
分类：
其他好文 时间：
2016-08-21 18:21:04
阅读次数：
154
本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制 1：当前HDFS架构详尽分析 HDFS架构 ?NameNode ?DataNode ?Sencondary NameNode 数据存储细节 NameNode 目录结构 Namenode 的目录结构： $ ...
分类：
其他好文 时间：
2016-06-27 13:46:51
阅读次数：
153
转自：http://www.jianshu.com/p/372d25352d3a HDFS NameNode对文件块复制相关所有事物负责，它周期性接受来自于DataNode的HeartBeat和BlockReport信息，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。 一个简单但非 ...
分类：
其他好文 时间：
2016-05-18 21:29:26
阅读次数：
149
副本放置策略副本放置策略的基本思想是：
第一个block副本放在和client所在的node里（如果client不在集群范围内，则这第一个node是随机选取的，当然系统会尝试不选择哪些太满或者太忙的node）。
第二个副本放置在与第一个节点不同的机架中的node中（随机选择）。
第三个副本和第二个在同一个机架，随机放在不同的node中。
如果还有更多的副本就随机放在集群的node里。Had...
分类：
其他好文 时间：
2015-06-03 23:32:22
阅读次数：
191
接着上一篇来说。上篇说了hadoop网络拓扑的构成及其相应的网络位置转换方式，本篇主要讲通过两种方式来配置机架感知。一种是通过配置一个脚本来进行映射；另一种是通过实现DNSToSwitchMapping接口的resolve()方法来完成网络位置的映射。 hadoop自身是没有机架感知能力的，必...
分类：
其他好文 时间：
2015-05-27 22:41:32
阅读次数：
219
Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据传输速率。因为集群的带宽有限，而有限的带宽资源却承担着大量的刚性带宽需求，例如Shuffle阶段的数据传输不可避免，所以如何优化带宽资源的占用是一个值得思考的问题。仔细思考下，Hadoop数据传输的需求主要.....
分类：
其他好文 时间：
2014-11-17 22:43:56
阅读次数：
257
