rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。下面我们来概要分析一下Hadoop2的rpc。Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。客户端采用传统的s...
分类：
其他好文 时间：
2015-07-22 18:26:37
阅读次数：
117
这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.htt...
分类：
其他好文 时间：
2015-07-17 18:09:16
阅读次数：
282
【io.file.buffer.size】(core-site.xml)用来设置缓存的大小，较大的缓存提供更高效的数据传输，但也意味着更大的内存消耗和延迟默认值为4KB，一般情况下设置为64KB(65536)【dfs.balance.bandwidthPerSec】HDFS平衡器检测集群中使用过度或者使用不足的DataNode，并在这些DataNo..
分类：
其他好文 时间：
2015-07-15 23:09:21
阅读次数：
180
Linux环境：CentOs6.4Hadoop版本：Hadoop-1.1.2master: 192.168.1.241 NameNode JobTracker DataNode TaskTrackerslave:192.168.1.242 DataNode TaskTracker内容：设置DataN...
分类：
其他好文 时间：
2015-07-14 15:25:29
阅读次数：
147
《Hadoop权威指南(第2版)》来讲，伪分布式（pseude-distributed model）是指Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker...
分类：
其他好文 时间：
2015-07-13 18:17:03
阅读次数：
144
简单记录几个hdfs的运维命令//查看hdfs的状态，是否有missing block，corrupt block等，也可以看datanode的状态hdfs dfsadmin -report//查看hdfs根目录下是否有文件处于missing,currupt状态，而且不是under replica的...
分类：
其他好文 时间：
2015-07-09 12:59:52
阅读次数：
111
10.艾玛, Datanode也启动不了了?
找到log:
Caused by: java.net.UnknownHostException: Invalid host name: local host is: (unknown); destination host is: “maste1”:8031; java.net.
UnknownHostException; For more deta...
分类：
其他好文 时间：
2015-07-05 09:36:05
阅读次数：
206
HDFS是Hadoop存储数据的架构分为主从节点主节点：namenode（一个）从节点：datanodes（多个）namenode：接收用户操作请求、维护文件系统的目录结构、管理文件与block之间的关系，block与datanode之间的关系datanode：存储文件、文件被分成多个block存储...
分类：
其他好文 时间：
2015-07-05 07:06:12
阅读次数：
134
start-all.sh 启动坑爹找不出错试了各种办法，重新formaet 查看 集群ID是否相同。都无效日志也没看到错按官网方法手动一步步启，问题照旧master节点，yarn namenode 启动（打印详细日志）node节点 yarn datanode 启动看到错了15/07/02 03:32...
分类：
其他好文 时间：
2015-07-03 18:58:35
阅读次数：
262
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeCho...
分类：
其他好文 时间：
2015-07-01 17:33:31
阅读次数：
161
