以WordCount程序为例，假设有三台DataNode，每台DataNode有不一样的数据，如下表格所示：DataNode1DataNode2DataNode3who are you arewho am i arewho is he am经过Map函数后，生成以下键值对：DataNode1Data...
分类：
其他好文 时间：
2014-11-06 10:42:02
阅读次数：
195
在分布式文件系统HDFS中，DataNode节点被用来存储文件的数据，确切的来说就是HDFS中的每一个文件是分块来存储的，一个文件可能有多个数据块，每一个数据块有多个副本，而且数据块的不同副本存储在不同的DataNode节点上，所以如果把整个HDFS集群看做一台机器的话，那么每一个DataNode节...
分类：
其他好文 时间：
2014-11-03 19:15:01
阅读次数：
229
与块相关的操作由Dataset相关的类处理，存储结构由大到小是卷（FSVolume）、目录（FSDir）和文件（Block和元数据等）block相关block类有三个属性private long blockId;//blockidprivate long numBytes;//block大小priv...
分类：
其他好文 时间：
2014-11-03 17:41:03
阅读次数：
359
当我动态添加一个hadoop从节点的之后，出现了一个问题：
[root@hadoop current]# hadoop-daemon.sh start datanode
starting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out
[root@hadoop ...
分类：
其他好文 时间：
2014-11-01 11:58:13
阅读次数：
304
Hadoop源码学习笔记(2) ——进入main函数打印包信息 找到了main函数，也建立了快速启动的方法，然后我们就进去看一看。 进入NameNode和DataNode的主函数后，发现形式差不多： public static void main(String args[]) {try { Str....
分类：
其他好文 时间：
2014-10-31 08:44:03
阅读次数：
298
本次是第一次在生产环境部署HBase，本文若有配置上的不妥之处还请高手指正。hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2JDK：1.6操作系统：centOS6.3 64bit1. 安装snappy#yum install snappyInst...
分类：
其他好文 时间：
2014-10-28 17:00:52
阅读次数：
719
问题一：namenode无法启动，查看日志，错误信息如下：org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: NameNode is ...
分类：
其他好文 时间：
2014-10-28 15:24:00
阅读次数：
539
Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示master的进程:两个slave的节点进程发现salve节点上竟然没有datanode进程.查看了日志,发现有这样一句话:这句话的意思是:datanode上的data目录权限是765...
分类：
其他好文 时间：
2014-10-28 02:02:29
阅读次数：
634
对于datanode可以在master中配置，然后在maste启动的时候，一并去启动这些节点 。对于死掉的节点，也可以通过以下命令启动 。重启挂掉的节点进入到 挂掉的机器bin/hadoop-daemon.sh start datanode //启动数据节点bin/hadoop-daemon.sh ...
分类：
其他好文 时间：
2014-10-26 16:57:08
阅读次数：
170
副本机制1、副本摆放策略第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上；第二副本：放置在于第一个副本不同的机架的节点上；第三副本：与第二个副本相同机架的不同节点上；如果还有更多的副本：随机放在节点中；2、副本系数1）对于上传文件到HDF...
分类：
其他好文 时间：
2014-10-24 23:29:26
阅读次数：
412
