首先，今天是羊年初一。祝看到这篇博文的朋友们新春快乐！身体健康！心想事成！万事胜意！ 言归正传。hadoop中的两大核心分别是HDFS以及MapReduce。HDFS分布式文件系统有NameNode、DataNode以及SecondaryNameNode三种节点进程，同时MR有JobTrack...
分类：
其他好文 时间：
2015-02-19 17:28:09
阅读次数：
256
参考资料：http://os.51cto.com/art/201211/364374.htm上边这是个结构概览吧。默认情况下，一个file被分成很多个block，每个block被分配到两个rack（机架）的共3个DataNode上，也就是有两个备份。在NameNode保存了每个block对应的Dat...
分类：
其他好文 时间：
2015-02-17 14:03:20
阅读次数：
219
执行stop-dfs.sh脚本，出现以下提示：1 Stopping namenodes on [Master]2 Master: no namenode to stop3 SlaveA: no datanode to stop4 SlaveB: no datanode to stop5 SlaveC...
分类：
其他好文 时间：
2015-02-12 15:55:38
阅读次数：
181
在一个全配置的集群上，运行Hadoop意味着在网络分布的不同服务器上运行一组守护进程 （daemons)，这些守护进程或运行在单个服务器上，或运行与多个服务器上，他们包括:(1) NameNode（名字节点）(2) DataNode（数据节点）(3) Secondary NameNode （次名节点...
分类：
其他好文 时间：
2015-02-11 00:21:39
阅读次数：
191
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
问题描述： 在实验的时候，需要往以前的集群中添加一台datanode，在添加之前，由于在调式namenode的时候，格式化了dfs，这就导致了namenode上的namespaceID和以前集群上datanode的namespaceID不一致，结果就会导致在启动hadoop集群的时候，旧的的data...
分类：
编程语言 时间：
2015-01-28 12:42:34
阅读次数：
216
Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count...
环境基础篇需要4台机器（一台namenode,三台datanode);HA篇需要8台机器：两台namenode(一台作activenn,另一台作standbynn)，三台datanode，三台zookeeper（也可以省去这三台，把zookeeperdaemon部署在其他机器上）。实际上还需要3台journalnode,但因为它比较轻量级，所以这里就..
分类：
系统相关 时间：
2015-01-21 20:20:32
阅读次数：
358
问题排查方式一般的错误，查看错误输出，按照关键字google异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志hadoop错误1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下..
分类：
其他好文 时间：
2015-01-21 10:21:31
阅读次数：
451
[TestMethod] public void NodeTest() { datanode d = new datanode() { name = "zbw911", children = new List ...
分类：
Web程序 时间：
2015-01-19 10:39:55
阅读次数：
136
