Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146296.html背景在HDFS中，通常是通过DataNode来读取数据的。但是，当客户端向DataNode请求读取文件时，Dat...
分类：
其他好文 时间：
2014-12-05 13:59:52
阅读次数：
4071
1、DataNode为每个数据复制数据副本，保存在其它DataNode中。2、NameNode文件系统的元数据全保存在RAM中，DataNode初始化以及每隔1小时，向NameNode发送块报告，以便NameNode掌握各个DataNode的运行状态，并进行DataNode的映射。3、预写日志。通过在edits中顺序增加的方式减少I/O操作。4、fsimage:NameNode启动后，加载fsim...
分类：
其他好文 时间：
2014-12-04 18:03:55
阅读次数：
184
第一部分：什么是RPC RPC(Remote Procedure Call Protocol)–远程过程协议调用。通过RPC我们可以从网络上的计算机请求服务，而不需要了解底层网络协议。Hadoop底层的交互都是通过rpc进行的。例如：datanode和namenode、tasktracker和...
分类：
其他好文 时间：
2014-12-03 12:03:43
阅读次数：
204
在client向DataNode写入block之前，会与NameNode有一次通信，由NameNode来选择指定数目的DataNode来存放副本。具体的副本选择策略在BlockPlacementPolicy接口中，其子类实现是BlockPlacementPolicyDefault。该类中会有多个.....
分类：
其他好文 时间：
2014-12-02 13:17:53
阅读次数：
162
hdfs默认基本存储单元为64mb，hdfs的块比磁盘的块大得多，是为了减少寻址开销。如块大小是100mb，寻址时间在10ms，传输速率是100mb/s，则寻址时间是传输时间的1%hdfs的三个重要角色：client，datanode，namenodenamenode相当于hdfs中的管理者，管理文...
分类：
其他好文 时间：
2014-11-29 11:48:00
阅读次数：
140
上篇说了block在DataNode配置有多个${dfs.data.dir}时的存储策略，本文主要介绍TaskTracker在配置有多个${mapred.local.dir}时的选择策略。1 mapred-site.xml2 3 mapred.local.dir4 /mnt/locald...
分类：
其他好文 时间：
2014-11-26 22:37:03
阅读次数：
293
hadoop是用cloudra的官方yum源安装的，服务器是CentOS6.3 64位操作系统，自己写的mapreduce执行的时候hadoop会提示以下错误：WARN util.NativeCodeLoader: Unable to load native-hadoop library for y...
分类：
其他好文 时间：
2014-11-26 18:29:32
阅读次数：
286
HDFS联邦HDFSHAHDFS快照回顾:HDFS两层模型Namespace:包括目录,文件和块.它支持所有命名空间相关的文件操作,如创建,删除,修改,查看所有文件和目录BlockStorageService(块存储服务)包括两部分1.在namenode中的块的管理提供datanode集群的注册,心跳检测等功能.处理块的报告信息和..
分类：
其他好文 时间：
2014-11-26 06:48:59
阅读次数：
140
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解bloc..
分类：
其他好文 时间：
2014-11-25 19:03:31
阅读次数：
253
Hadoop分布式文件系统分为三部分：ClientNode，NameNode,DataNode(n个)，之间通过TCP/IP进行通信。
CN：1.提供给客户接口，向NN发送读写等命令
2.根据NN提供的信息，向多个DN中写入，或从中读取。
NN：1.管理文件系统的名字空间
2.管理CN对文件的访问
DN：负责管理节点的文件存储
Operation：
Read：1.CN向NN发送读取文...
分类：
其他好文 时间：
2014-11-21 12:45:02
阅读次数：
225
