问题描述：在启动datanode进程时，能成功的启动；但用jps查看进程时，发现进程不存在，下面是在datanode日记文件的错误信息如下图的截屏所示：主要原因：发生错误的原因：由于把data放在的tmp的零时目录下，导致格式化之后，datanode中的数据在namenode中无法找相应的句柄。解决...
分类：
其他好文 时间：
2014-09-21 21:59:31
阅读次数：
256
今天在Pseudodistributed mode下启动HDFS
见配置http://blog.csdn.net/norriszhang/article/details/38659321
但是在试验向HDFS里拷贝文件时，发现出错，说没有找到namenode，用jps查看，有datanode和secondary namenode都启动起来了，但NameNode没有启动起来，用netst...
分类：
其他好文 时间：
2014-09-11 12:35:12
阅读次数：
174
HDFS 的可靠性主要有一下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制1.冗余副本策略 可以在hdfs-site.xml中设置复制因子指定副本数量 所有数据块都可副本 DataNode启动时,遍历本地文件系统,产生一份HDFS数据块和本地文件的对应关系列表(blo...
分类：
其他好文 时间：
2014-09-09 19:56:19
阅读次数：
2227
为什么会引入RPC：RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Client-NameNode之间，其中NameNode是服务器Client-DataNode之间，其中DataNode是服务器DataNode-NameNo...
分类：
其他好文 时间：
2014-09-09 19:43:49
阅读次数：
200
一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统：CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类：
其他好文 时间：
2014-09-03 15:05:57
阅读次数：
252
初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况Hadoop配置datanode无法连接到master发现没有dat...
分类：
其他好文 时间：
2014-08-29 15:54:18
阅读次数：
201
1错误：DataXceiver error processing WRITE_BLOCK operation2014-05-06 15:21:30,378 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop-datanode1:...
分类：
其他好文 时间：
2014-08-27 18:04:08
阅读次数：
215
hadoop多次格式化后，导致datanode启动不了,并且在datanode里面执行hadoop datanode -upgrade 会抛出如下异常:************************************************************/2014-08-27 14...
分类：
其他好文 时间：
2014-08-27 16:20:27
阅读次数：
365
Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/loc...
分类：
其他好文 时间：
2014-08-26 21:23:27
阅读次数：
265
HDFS Rolling Upgrade
Introduction
HDFS 滚动升级允许单独升级每一个HDFS进程。例如，DataNode可以独立于NameNode升级。一个NameNode可以独立于其他的NameNode升级。NameNode可以独立于DataNode和JournalNode升级。
Upgrade
在Hadoop V2中，HDFS支持NameNode服务的HA和前后兼容...
分类：
其他好文 时间：
2014-08-22 10:51:26
阅读次数：
172
