近期版本get无法使用，可能使用了其他参数代替，但源码中已经去掉JMX部分，也没有给出替代接口，应该是不再额外实现了。 "NameNode" "DataNode" "HDFS" "Yarn" "HBase" "MapReduce" NameNode NameNode:50070 Hadoop:ser ...
分类：
其他好文 时间：
2018-08-21 00:26:35
阅读次数：
534
Common:公共模块，别的模块都依赖于它。 HDFS:存储数据。 MapReduce:计算数据. YARN:调度器。辅助把资源分给哪台电脑。 Namenode:负责接收客户端的请求。 ...
分类：
其他好文 时间：
2018-08-20 19:07:48
阅读次数：
137
接下来开始真正意义上的集群搭建 Tip：hadoop集群搭建完以后，最好要格式化：hadoop namenode -format; HDFS集群是否启动成功，看这两个进程：namenode/datanode; Yarn集群是否启动成功，看这两个进程：Resourcemanager/Namemanag ...
分类：
其他好文 时间：
2018-08-20 17:56:40
阅读次数：
193
以下只是简单的对hdfs（hdfs.site.xml）配置文件做一个简单的说明。 <configuration><property><!-- 为namenode集群定义一个services name --><name>dfs.nameservices</name><value>ns1</value> ...
分类：
其他好文 时间：
2018-08-20 14:29:29
阅读次数：
146
在启动hadoop之后，发现如下 datanode何在？？？？？ 在重新启动hadoop的时候，发现了问题，如下 这说明datanode启动时出错了 我们跟踪这个问题，进入到log文件夹下，找到hadoop-root-datanode-master.log 接下来，就是来解决这个问题。 一种是删除/ ...
分类：
其他好文 时间：
2018-08-20 11:34:36
阅读次数：
198
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history ...
分类：
其他好文 时间：
2018-08-18 21:45:49
阅读次数：
216
有时候我们start-dfs.sh启动了hadoop但是发现datanode进程不存在 一、原因 当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VE ...
分类：
其他好文 时间：
2018-08-17 19:57:32
阅读次数：
203
问题 上传文件到Hadoop异常，报错信息如下： 解决 1、查看问题节点的进程情况： DataNode进程没有启动 2、进入问题节点，查看Hadoop datanode.log信息 报错的信息为，namenode clusterID 与 datanode clusterID 不一致！ 回想了下，出现 ...
分类：
Web程序 时间：
2018-08-17 15:30:02
阅读次数：
212
在主节点机器上执行命令/opt/modules/app/hadoop-2.7.4/sbin/start-all.sh（相当于执行/opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh和/opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh）然后jps发现没有namenode，查看logs日志发现namenode没有格
分类：
其他好文 时间：
2018-08-15 20:31:40
阅读次数：
145
第一步：准备n台linux服务器 我这里使用的是3台CentOS6.5版本的linux虚拟机，1个namenode节点 + 2个datanode 节点。 第二步：给3台虚拟机分配IP并修改hosts文件 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：hdp-02 对应的i ...
分类：
其他好文 时间：
2018-08-15 01:24:26
阅读次数：
161
