这篇博文主要是针对上篇博文Hadoop安装时出现的一些问题的解答问题一：ssh无密码登陆的问题在我生成密钥后，准备用ssh登录时，出现以下提示ssh:connecttohostlocalhostport22:Connectionrefused经查阅资料后发现，出现这种情况一般是三个原因造成的：1.sshd未安装2.sshd未启动3..
分类：
系统相关 时间：
2015-05-03 19:07:27
阅读次数：
243
一、前言
与Hadoop1.x相比，Hadoop2.x中的NameNode不再是只有一个了，可以有多个（目前只支持2个）。每一个都有相同的职能。这两个NameNode的地位如何哪？
答：一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，standby状态的NameNode是处于待命状态的，时刻同步active状态NameNod...
分类：
其他好文 时间：
2015-04-29 11:50:48
阅读次数：
313
[root@Namenode~]#yuminstall-ykernel-doc[root@Namenode~]#cd/usr/share/doc/kernel-doc-2.6.32/Documentation/networking[root@Namenodenetworking]#viip-sysctl.txt
分类：
其他好文 时间：
2015-04-29 07:23:52
阅读次数：
122
在Hadoop版本0.20.1, 0.21.0
存在一个bug，NameNode同步失败，current产生了一个edits.new，和fsimage同步时又出现异常，而SecondNameNode也产生了同样的目录结构和数据，并报如下异常：
Our secondary name node is not able to start on NullPointerExceptio...
分类：
其他好文 时间：
2015-04-29 02:01:31
阅读次数：
234
参考刘鹏的《实战Hadoop》一书，按照hadoop0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。NameNode，SecondaryNameNode，JobTracker,TaskTracker,DataNode这几个角色。NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在..
分类：
其他好文 时间：
2015-04-26 01:33:16
阅读次数：
151
前段时间去培训，按照教程装了一遍Hadoop。回来又重新装一次，捋下思路，加深理解。基本配置如下，三个节点，一个namenode，两个datanode。Namenode192.168.59.144Datanode1192.168.59.145Datanode2192.168.59.146在虚拟机上做...
分类：
其他好文 时间：
2015-04-23 19:38:42
阅读次数：
178
大家都知道在hadoop2中对HDFS的改进很大，实现了NameNode的HA；也增加了ResourceManager。但是ResourceManager也可以实现HA。你没看错，确实是ResourceManager的HA。注意是在Apache Hadoop 2.4.1版本中开始加入的，可不是任意一...
分类：
其他好文 时间：
2015-04-23 12:37:39
阅读次数：
140
以下为我的操作记录，还未整理格式
hqvm-L118 192.168.1.118 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
hqvm-L138 192.168.1.138 jdk、hadoop、zookeeper NameN...
分类：
其他好文 时间：
2015-04-22 18:25:14
阅读次数：
138
1、hdfs namenode -format 后datanode无法启动解决办法：删除所有datanode节点下data.tmp.dir下目录2、running job 后卡住解决办法：如果是集群的话，集群时间要同步；cp /usr/share/zoneinfo/Asia/Shanghai /et...
分类：
其他好文 时间：
2015-04-21 12:43:30
阅读次数：
126
1.hadoop的分布式安装过程1.1 分布结构主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker1.2 各节点重新产生ssh加密文件1.3 编辑各个节...
分类：
其他好文 时间：
2015-04-20 00:26:26
阅读次数：
156
