在运行Hadoop的过程中遇到的最多的问题就是DataNode不能正常的启动，各种问题都有可能，说一下我遇到的两种情况：（1）第一种情况是Master的防火墙没有关闭。这样在启动Hadoop的时候，Master这个节点可以正常的启动，但是Master的防火墙开启以后，使得Slave不能访问Maste...
分类：
其他好文 时间：
2015-04-22 15:12:55
阅读次数：
175
1、hdfs namenode -format 后datanode无法启动解决办法：删除所有datanode节点下data.tmp.dir下目录2、running job 后卡住解决办法：如果是集群的话，集群时间要同步；cp /usr/share/zoneinfo/Asia/Shanghai /et...
分类：
其他好文 时间：
2015-04-21 12:43:30
阅读次数：
126
1.hadoop的分布式安装过程1.1 分布结构主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker1.2 各节点重新产生ssh加密文件1.3 编辑各个节...
分类：
其他好文 时间：
2015-04-20 00:26:26
阅读次数：
156
Hdfs环境搭建
下载最新版本的Hadoop编译好的tar包：http://hadoop.apache.org/releases.html确认HDFS namenode和datanode的角色，并将namenode以及datanode的ip机器名对应关系写进每台机器的/etc/hosts文件。
确认namenode可以不需要密码就一个通过ssh联通datanode结点。
执行如下...
分类：
其他好文 时间：
2015-04-15 21:33:56
阅读次数：
152
下图描述了在文件读过程中，client、NameNode和DataNode三者之间是如何互动的。
1. client调用get方法得到HDFS文件系统的一个实例（DistributedFileSystem）。然后调用它的open方法。
2. DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolc...
分类：
其他好文 时间：
2015-04-14 11:12:18
阅读次数：
121
1、Hadoop-root-datanode-master.log 中有如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致dat...
分类：
其他好文 时间：
2015-04-13 18:49:08
阅读次数：
158
集群分布式Hadoop系统安装及测试
本系统一共有三个节点，一个namenode，两个datanode，IP和主机名对应如下：
192.168.1.19 namenode
192.168.1.7 datanode1
192.168.1.20 datanode2
1、安装配置
1）、安装配置JDK，在三个节点都需要安装，下面...
分类：
其他好文 时间：
2015-04-08 18:15:17
阅读次数：
252
1）NameNode、DataNode和Client
NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。
DataNode是文件存储的基本单元，它将Block存储在...
分类：
其他好文 时间：
2015-03-31 14:50:15
阅读次数：
184
系统：ubuntu 14.04
HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后，用JPS检查能看到一下六个进程：14779 DataNode
15322 NodeManager
14657 NameNode
15194 ResourceManager
17656 Jps
14979 SecondaryNameNode接下来我们需要运行Word...
分类：
编程语言 时间：
2015-03-29 13:42:54
阅读次数：
217
1、dfs.hosts 记录即将作为datanode加入集群的机器列表 2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表 3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表 4、master 记录运行辅...
分类：
其他好文 时间：
2015-03-21 17:17:02
阅读次数：
247
