搞定ClientProtocol，接下来是DatanodeProtocol部分。接口如下：
public DatanodeRegistration register(DatanodeRegistration nodeReg
) throws IOException
用亍DataNode向NameNode登记。输入和输出参数都是DatanodeRegistration，类图如下：
...
分类：
其他好文 时间：
2015-05-18 23:13:44
阅读次数：
326
一、安装系统
虚拟软件 ： VMware workstation 10
系统： Centos 6.4 32bit
Master IP : 192.168.56.131
Slave IP : 192.168.56.132
User & pass: hadoop
注：一台充当master(namenode)，一台充当slave(datanode)。这是最小...
分类：
其他好文 时间：
2015-05-15 19:57:42
阅读次数：
128
HDFSdfs.block.sizeHDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264Mdfs.datanode.socket.write.timeout/dfs.socket.timeout增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置（默认300），比如30000，避免可能出现的IO超时异常d..
分类：
其他好文 时间：
2015-05-14 20:46:44
阅读次数：
221
HDFS设计前提与目标：1、硬件错误时常态2、流式数据访问3、大规模数据集4、简单一致性模型5、移动计算比移动数据更划算一个HDFS集群包含一个单独的NameNode节点、多台DataNode服务器，并且同时被多个客户端访问，如图所示。所有的这些机器通常都是普通的Linux机器，运行着用户级别(us...
分类：
编程语言 时间：
2015-05-14 18:22:44
阅读次数：
235
周围的障碍扫清以后，我们可以开始分析类DataNode。类图如下： ? publipublic class DataNode extends Configured implements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable 上面给出...
分类：
其他好文 时间：
2015-05-11 18:21:37
阅读次数：
207
介绍完org.apache.hadoop.io以后，我们开始来分析org.apache.hadoop.rpc。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Client-NameNode之间，其中NameNode是服务器Client-DataNode之间，其中DataNode..
分类：
其他好文 时间：
2015-05-11 18:09:28
阅读次数：
104
周围的障碍扫清以后，我们可以开始分析类DataNode。类图如下：
publipublic class DataNode extends Configured
implements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable
上面给出了DataNode 的继承关系，我们发现，DataNo...
分类：
其他好文 时间：
2015-05-11 18:06:48
阅读次数：
136
conf.set("dfs.datanode.socket.write.timeout", "7200000"); //Configuration.deprecation: dfs.socket.timeout is deprecated. Instead, use dfs.client.s...
分类：
其他好文 时间：
2015-05-11 10:44:00
阅读次数：
112
1.Hadoop的3种运行模式单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点完全分布式模式：正常的Hadoop集群，由多个各司其职的节..
分类：
其他好文 时间：
2015-05-09 20:36:04
阅读次数：
169
解决的命令：hadoop dfsadmin -safemode leave #关闭safe modesafemode模式NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模...
分类：
其他好文 时间：
2015-05-07 16:06:26
阅读次数：
98
