在client向DataNode写入block之前，会与NameNode有一次通信，由NameNode来选择指定数目的DataNode来存放副本。具体的副本选择策略在BlockPlacementPolicy接口中，其子类实现是BlockPlacementPolicyDefault。该类中会有多个.....
分类：
其他好文 时间：
2014-12-02 13:17:53
阅读次数：
162
hdfs默认基本存储单元为64mb，hdfs的块比磁盘的块大得多，是为了减少寻址开销。如块大小是100mb，寻址时间在10ms，传输速率是100mb/s，则寻址时间是传输时间的1%hdfs的三个重要角色：client，datanode，namenodenamenode相当于hdfs中的管理者，管理文...
分类：
其他好文 时间：
2014-11-29 11:48:00
阅读次数：
140
上篇说了block在DataNode配置有多个${dfs.data.dir}时的存储策略，本文主要介绍TaskTracker在配置有多个${mapred.local.dir}时的选择策略。1 mapred-site.xml2 3 mapred.local.dir4 /mnt/locald...
分类：
其他好文 时间：
2014-11-26 22:37:03
阅读次数：
293
hadoop是用cloudra的官方yum源安装的，服务器是CentOS6.3 64位操作系统，自己写的mapreduce执行的时候hadoop会提示以下错误：WARN util.NativeCodeLoader: Unable to load native-hadoop library for y...
分类：
其他好文 时间：
2014-11-26 18:29:32
阅读次数：
286
HDFS联邦HDFSHAHDFS快照回顾:HDFS两层模型Namespace:包括目录,文件和块.它支持所有命名空间相关的文件操作,如创建,删除,修改,查看所有文件和目录BlockStorageService(块存储服务)包括两部分1.在namenode中的块的管理提供datanode集群的注册,心跳检测等功能.处理块的报告信息和..
分类：
其他好文 时间：
2014-11-26 06:48:59
阅读次数：
140
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解bloc..
分类：
其他好文 时间：
2014-11-25 19:03:31
阅读次数：
253
Hadoop分布式文件系统分为三部分：ClientNode，NameNode,DataNode(n个)，之间通过TCP/IP进行通信。
CN：1.提供给客户接口，向NN发送读写等命令
2.根据NN提供的信息，向多个DN中写入，或从中读取。
NN：1.管理文件系统的名字空间
2.管理CN对文件的访问
DN：负责管理节点的文件存储
Operation：
Read：1.CN向NN发送读取文...
分类：
其他好文 时间：
2014-11-21 12:45:02
阅读次数：
225
直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接..
分类：
Web程序 时间：
2014-11-17 19:47:36
阅读次数：
248
直接上问题:这两天为了试验,安装了两套集群:
(1)32位hadoop1集群(5个节点);
(2)64位hadoop2集群(6个节点)
两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,...
分类：
Web程序 时间：
2014-11-17 16:00:22
阅读次数：
199
在hadoop-1.2.1中运行所遇到的问题：2014-11-14 22:43:42 在服务器上运行hadoop-1.2.1中的datanode，出现了内存占用过大，导致ssh登陆出现如下问题：1、# There is insufficient memory for the Java Runtime...
分类：
其他好文 时间：
2014-11-14 23:59:18
阅读次数：
497
