一直没有重视三者之间的通信问题，在此整理一下提问：datanode之间有没有交互？Hadoop安装时ssh如何配置？1.背景知识：在Hadoop系统中，master/slaves/client的对应关系是：master---namenode；slaves---datanode；client---df...
分类：
其他好文 时间：
2015-05-25 00:57:54
阅读次数：
424
hadoop网络拓扑结构在整个系统中具有很重要的作用，它会影响DataNode的启动(注册)、MapTask的分配等等。了解网络拓扑对了解整个hadoop的运行会有很大帮助。 首先通过下面两个图来了解与网络拓扑有关的类。 NetworkTopology用来表示hadoop集群的网络拓扑结构。...
分类：
移动开发 时间：
2015-05-24 11:20:19
阅读次数：
160
当时执行hive的导入数据load data inpath "XXXX" into table.....的时候发现总是导不进去，最后试了下简单的从Linux 到 HDFS上传文件发现都不成功，提示datanode的问题。后来省事就直接将以前成功安装的hadoop-2.6.0的文件夹整个替代掉再bin...
分类：
其他好文 时间：
2015-05-22 00:22:40
阅读次数：
127
与DataNode节点类似，NameNode节点也有自己的目录和类继承结构，但是NameNode节点的目录结构比DataNode节点就简单多了，下面就来简单分析NameNode节点的目录构成与类继承结构。NameNode的目录构成在NameNode节点运行时，维护着整个HDFS中的文件及目录信息，如...
分类：
其他好文 时间：
2015-05-20 18:01:06
阅读次数：
116
HDFS均衡操作的启动 ? ? 使用HDFS的balancer命令，可以配置一个Threshold来平衡每一个DataNode磁盘利用率。命令如下： start-balancer.sh -threshold 8 运行之后，会有Balancer进程出现： 上述命令设置了Thres...
分类：
其他好文 时间：
2015-05-19 16:57:15
阅读次数：
129
HDFS均衡操作的启动使用HDFS的balancer命令，可以配置一个Threshold来平衡每一个DataNode磁盘利用率。命令如下：start-balancer.sh-threshold8运行之后，会有Balancer进程出现：上述命令设置了Threshold为8%，那么执行balancer命令的时候，首先统计所有DataNode的磁盘利用率的..
分类：
其他好文 时间：
2015-05-19 16:50:49
阅读次数：
151
1、core-site.xml文件这是一个描述集群中NameNode结点的URI-统一资源标识符（包括协议，主机名称，端口号），集群里面的每一台机器都需要知道 NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被利用。独立的客户端程序通过这个URI跟 Da...
分类：
其他好文 时间：
2015-05-19 00:32:41
阅读次数：
109
搞定ClientProtocol，接下来是DatanodeProtocol部分。接口如下：
public DatanodeRegistration register(DatanodeRegistration nodeReg
) throws IOException
用亍DataNode向NameNode登记。输入和输出参数都是DatanodeRegistration，类图如下：
...
分类：
其他好文 时间：
2015-05-18 23:13:44
阅读次数：
326
一、安装系统
虚拟软件 ： VMware workstation 10
系统： Centos 6.4 32bit
Master IP : 192.168.56.131
Slave IP : 192.168.56.132
User & pass: hadoop
注：一台充当master(namenode)，一台充当slave(datanode)。这是最小...
分类：
其他好文 时间：
2015-05-15 19:57:42
阅读次数：
128
HDFSdfs.block.sizeHDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264Mdfs.datanode.socket.write.timeout/dfs.socket.timeout增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置（默认300），比如30000，避免可能出现的IO超时异常d..
分类：
其他好文 时间：
2015-05-14 20:46:44
阅读次数：
221
