Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构 之前我们简要的看过了DataNode的main函数以及整个类的大至，现在结合前面我们研究的线程和RPC，则可以进一步看看几个对象的大至结构以及调用关系。 我们知道，三个结构（客户端，NameNode,DataNod....
分类：
其他好文 时间：
2014-11-13 20:35:32
阅读次数：
223
一、ssh的启动 ssh localhost二、hadoop的HDFS的格式化 bin/hadoop namenode -format三、hadoop的start-all.sh的启动 bin/tart-all.sh四、hadoop的datanode的启动 bin/hadoop-daemon.sh s...
分类：
其他好文 时间：
2014-11-13 20:34:07
阅读次数：
115
0.服务说明NameNodeNameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。DataNode集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到本地文件系统。需要读写..
分类：
其他好文 时间：
2014-11-12 18:07:47
阅读次数：
295
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)首先说下org.apache.hadoop.hdfs.server.datanode.fsdataset下的主要接口，FsDatasetSpi接..
分类：
其他好文 时间：
2014-11-12 12:01:17
阅读次数：
228
向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。
解决的办法：
1、从其他非datanode节点上传
可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让namenode...
分类：
Web程序 时间：
2014-11-07 17:10:35
阅读次数：
200
操作系统centos6.3(64位) 一个namenode 两个datanode
Hadoop版本：hadoop-1.1.2
Eclipse版本：eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.zip（
Eclipse SDK For Linux 4.4 RC 2(64 Bit )
）
JDK：版本
[work@...
分类：
系统相关 时间：
2014-11-07 17:04:40
阅读次数：
288
Hadoop源码学习笔记(3) ——初览DataNode及学习线程 进入了main函数，我们走出了第一步，接下来看看再怎么走： public class DataNode extends Configured implements InterDatanodeProtocol,ClientDatan....
分类：
编程语言 时间：
2014-11-06 21:49:35
阅读次数：
229
以WordCount程序为例，假设有三台DataNode，每台DataNode有不一样的数据，如下表格所示：DataNode1DataNode2DataNode3who are you arewho am i arewho is he am经过Map函数后，生成以下键值对：DataNode1Data...
分类：
其他好文 时间：
2014-11-06 10:42:02
阅读次数：
195
在分布式文件系统HDFS中，DataNode节点被用来存储文件的数据，确切的来说就是HDFS中的每一个文件是分块来存储的，一个文件可能有多个数据块，每一个数据块有多个副本，而且数据块的不同副本存储在不同的DataNode节点上，所以如果把整个HDFS集群看做一台机器的话，那么每一个DataNode节...
分类：
其他好文 时间：
2014-11-03 19:15:01
阅读次数：
229
与块相关的操作由Dataset相关的类处理，存储结构由大到小是卷（FSVolume）、目录（FSDir）和文件（Block和元数据等）block相关block类有三个属性private long blockId;//blockidprivate long numBytes;//block大小priv...
分类：
其他好文 时间：
2014-11-03 17:41:03
阅读次数：
359
