当我动态添加一个hadoop从节点的之后，出现了一个问题：
[root@hadoop current]# hadoop-daemon.sh start datanode
starting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out
[root@hadoop ...
分类：
其他好文 时间：
2014-11-01 11:58:13
阅读次数：
304
Hadoop源码学习笔记(2) ——进入main函数打印包信息 找到了main函数，也建立了快速启动的方法，然后我们就进去看一看。 进入NameNode和DataNode的主函数后，发现形式差不多： public static void main(String args[]) {try { Str....
分类：
其他好文 时间：
2014-10-31 08:44:03
阅读次数：
298
本次是第一次在生产环境部署HBase，本文若有配置上的不妥之处还请高手指正。hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2JDK：1.6操作系统：centOS6.3 64bit1. 安装snappy#yum install snappyInst...
分类：
其他好文 时间：
2014-10-28 17:00:52
阅读次数：
719
问题一：namenode无法启动，查看日志，错误信息如下：org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: NameNode is ...
分类：
其他好文 时间：
2014-10-28 15:24:00
阅读次数：
539
Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示master的进程:两个slave的节点进程发现salve节点上竟然没有datanode进程.查看了日志,发现有这样一句话:这句话的意思是:datanode上的data目录权限是765...
分类：
其他好文 时间：
2014-10-28 02:02:29
阅读次数：
634
对于datanode可以在master中配置，然后在maste启动的时候，一并去启动这些节点 。对于死掉的节点，也可以通过以下命令启动 。重启挂掉的节点进入到 挂掉的机器bin/hadoop-daemon.sh start datanode //启动数据节点bin/hadoop-daemon.sh ...
分类：
其他好文 时间：
2014-10-26 16:57:08
阅读次数：
170
副本机制1、副本摆放策略第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上；第二副本：放置在于第一个副本不同的机架的节点上；第三副本：与第二个副本相同机架的不同节点上；如果还有更多的副本：随机放在节点中；2、副本系数1）对于上传文件到HDF...
分类：
其他好文 时间：
2014-10-24 23:29:26
阅读次数：
412
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息： 从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！ 第三步：启动yarn集群 使用jps命令...
分类：
其他好文 时间：
2014-10-21 10:32:36
阅读次数：
169
从控制台我们可以看见有两个DataNode，此时我们点击“LiveNodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWo..
分类：
其他好文 时间：
2014-10-21 10:27:47
阅读次数：
163
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！
第三步：启动yarn集群
使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：
而在Spa...
分类：
其他好文 时间：
2014-10-21 10:24:25
阅读次数：
230
