Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146398.html概述HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存...
分类：
其他好文 时间：
2014-12-05 17:08:04
阅读次数：
209
1、DataNode为每个数据复制数据副本，保存在其它DataNode中。2、NameNode文件系统的元数据全保存在RAM中，DataNode初始化以及每隔1小时，向NameNode发送块报告，以便NameNode掌握各个DataNode的运行状态，并进行DataNode的映射。3、预写日志。通过在edits中顺序增加的方式减少I/O操作。4、fsimage:NameNode启动后，加载fsim...
分类：
其他好文 时间：
2014-12-04 18:03:55
阅读次数：
184
一、hdfs写数据1、客户端通过Hadoop文件系统相关API 发送请求。打开一个要写入的文件，如果该用户拥有足够的权限，这一请求会被发送到NameNode，在NameNode上建立该文件的元数据。2、刚建立的新文件元数据并未将该文件和任何数据块关联，客户端仅收到打开文件成功的响应。3、客户端在API层面上将数据写入流中，数据被自动拆分成数据包，数据包保存在内存队列中。4、客户端有一个独立的线程，...
分类：
其他好文 时间：
2014-12-04 12:12:58
阅读次数：
170
第一部分：什么是RPC RPC(Remote Procedure Call Protocol)–远程过程协议调用。通过RPC我们可以从网络上的计算机请求服务，而不需要了解底层网络协议。Hadoop底层的交互都是通过rpc进行的。例如：datanode和namenode、tasktracker和...
分类：
其他好文 时间：
2014-12-03 12:03:43
阅读次数：
204
HadoopCDH5.0.1分布式系统，包括NameNode，ResourceMangerHA，忽略了WebApplicationProxy和JobHistoryServer。一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本..
分类：
其他好文 时间：
2014-12-03 07:09:21
阅读次数：
213
报错：org.apache.hadoop.ha.FailoverController: Unable to gracefully make NameNode at bender/192.168.0.66:9000 standby (unable to connect)参考：hbase.rootdir...
分类：
其他好文 时间：
2014-12-02 19:01:18
阅读次数：
206
在client向DataNode写入block之前，会与NameNode有一次通信，由NameNode来选择指定数目的DataNode来存放副本。具体的副本选择策略在BlockPlacementPolicy接口中，其子类实现是BlockPlacementPolicyDefault。该类中会有多个.....
分类：
其他好文 时间：
2014-12-02 13:17:53
阅读次数：
162
1.进入hbase shell
hadoop@namenode:~/hbase-0.98.8-hadoop1/conf$ hbase shell
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 0.98.8-hadoop1, r6cf...
分类：
系统相关 时间：
2014-11-30 00:43:05
阅读次数：
278
最近工作需要，看了HDFS读写数据块这部分。不过可能跟网上大部分帖子不一样，主要写了${dfs.data.dir}的选择策略，也就是block的放置策略。我主要是从我们工作需要的角度来读这部分代码的。 创建文件总共有两步： 1、在写block之前，需要与NameNode通信来生成文件(INo...
分类：
其他好文 时间：
2014-11-26 20:33:43
阅读次数：
367
HDFS联邦HDFSHAHDFS快照回顾:HDFS两层模型Namespace:包括目录,文件和块.它支持所有命名空间相关的文件操作,如创建,删除,修改,查看所有文件和目录BlockStorageService(块存储服务)包括两部分1.在namenode中的块的管理提供datanode集群的注册,心跳检测等功能.处理块的报告信息和..
分类：
其他好文 时间：
2014-11-26 06:48:59
阅读次数：
140
