问题排查方式一般的错误，查看错误输出，按照关键字google异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志hadoop错误1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下..
分类：
其他好文 时间：
2015-01-21 10:21:31
阅读次数：
451
Isnot configured
问题描述：
Incorrect configuration: namenode addressdfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.
这很可能是 xml 里面书写有问题，例如下面，8020后面多写了 “空格”，这常常也是导致出...
分类：
其他好文 时间：
2015-01-21 10:20:13
阅读次数：
325
为了可以方便地在hadoop的管理界面（namenode和jobtracker）中自定义展示项，使用代理servlet的方式实现了hadoop的管理界面。首先，在org.apache.hadoop.http.HttpServer中的构造函数public HttpServer(String name,...
分类：
其他好文 时间：
2015-01-20 17:28:36
阅读次数：
676
集群如下：HostName IP Soft Processh1 192.168.1.31 Hadoop,Hbase NameNode(Active),DFSZKFailoverController,HMaster(Active)h2 192.1...
分类：
其他好文 时间：
2015-01-20 00:54:29
阅读次数：
250
配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求：配置员、集群管理员、完全管理员
当一个DataNode关闭，NameNode确保每一个DataNode中的每一个块根据复制系数（the replication factor）跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下，一个DataNode有成千上万个块，关闭后集群间还原备份数可能...
分类：
其他好文 时间：
2015-01-16 11:20:07
阅读次数：
509
前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源...
分类：
其他好文 时间：
2015-01-15 12:17:12
阅读次数：
150
在NameNode节点上一切正常，并没有提示这个信息，但是在DataNode上出现如下提示信息：
15/01/14 16:42:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
经...
分类：
其他好文 时间：
2015-01-14 19:57:23
阅读次数：
174
1.问题分析
用fsck命令统计 查看HDFS上在某一天日志的大小，分块情况以及平均的块大小，即
分析问题的存在性：从表中可以看出，每天日志量的分块情况：总共大概有268左右的块数，平均块大小为36MB左右，远远不足128MB，这潜在的说明了一个问题。日志产生了很多小文件，大多数都不足128M，严重影响集群的扩展性和性能：首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大...
分类：
其他好文 时间：
2015-01-13 21:44:23
阅读次数：
330
1. hadoop集群：1.1 系统及硬件配置： hadoop版本：2.6 ；三台虚拟机：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每台机器2G内存、1个CPU核； node101: NodeManager、 NameNode、ResourceManager、DataNode； ...
分类：
编程语言 时间：
2015-01-11 06:15:09
阅读次数：
307
安装好Hadoop后，使用jps会出现一下几个进程
master中有：
namenode
secondaryNameNode
jobTracker
slaves中有
tasktracker
datanode
1. NameNode
它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
2. Second...
分类：
系统相关 时间：
2015-01-10 13:57:03
阅读次数：
232
