在一个全配置的集群上，运行Hadoop意味着在网络分布的不同服务器上运行一组守护进程 （daemons)，这些守护进程或运行在单个服务器上，或运行与多个服务器上，他们包括:(1) NameNode（名字节点）(2) DataNode（数据节点）(3) Secondary NameNode （次名节点...
分类：
其他好文 时间：
2015-02-11 00:21:39
阅读次数：
191
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
问题描述： 在实验的时候，需要往以前的集群中添加一台datanode，在添加之前，由于在调式namenode的时候，格式化了dfs，这就导致了namenode上的namespaceID和以前集群上datanode的namespaceID不一致，结果就会导致在启动hadoop集群的时候，旧的的data...
分类：
编程语言 时间：
2015-01-28 12:42:34
阅读次数：
216
Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count...
环境基础篇需要4台机器（一台namenode,三台datanode);HA篇需要8台机器：两台namenode(一台作activenn,另一台作standbynn)，三台datanode，三台zookeeper（也可以省去这三台，把zookeeperdaemon部署在其他机器上）。实际上还需要3台journalnode,但因为它比较轻量级，所以这里就..
分类：
系统相关 时间：
2015-01-21 20:20:32
阅读次数：
358
问题排查方式一般的错误，查看错误输出，按照关键字google异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志hadoop错误1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下..
分类：
其他好文 时间：
2015-01-21 10:21:31
阅读次数：
451
[TestMethod] public void NodeTest() { datanode d = new datanode() { name = "zbw911", children = new List ...
分类：
Web程序 时间：
2015-01-19 10:39:55
阅读次数：
136
配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求：配置员、集群管理员、完全管理员
当一个DataNode关闭，NameNode确保每一个DataNode中的每一个块根据复制系数（the replication factor）跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下，一个DataNode有成千上万个块，关闭后集群间还原备份数可能...
分类：
其他好文 时间：
2015-01-16 11:20:07
阅读次数：
509
在NameNode节点上一切正常，并没有提示这个信息，但是在DataNode上出现如下提示信息：
15/01/14 16:42:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
经...
分类：
其他好文 时间：
2015-01-14 19:57:23
阅读次数：
174
