直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接..
分类：
Web程序 时间：
2014-11-17 19:47:36
阅读次数：
248
直接上问题:这两天为了试验,安装了两套集群:
(1)32位hadoop1集群(5个节点);
(2)64位hadoop2集群(6个节点)
两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,...
分类：
Web程序 时间：
2014-11-17 16:00:22
阅读次数：
199
在hadoop-1.2.1中运行所遇到的问题：2014-11-14 22:43:42 在服务器上运行hadoop-1.2.1中的datanode，出现了内存占用过大，导致ssh登陆出现如下问题：1、# There is insufficient memory for the Java Runtime...
分类：
其他好文 时间：
2014-11-14 23:59:18
阅读次数：
497
Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构 之前我们简要的看过了DataNode的main函数以及整个类的大至，现在结合前面我们研究的线程和RPC，则可以进一步看看几个对象的大至结构以及调用关系。 我们知道，三个结构（客户端，NameNode,DataNod....
分类：
其他好文 时间：
2014-11-13 20:35:32
阅读次数：
223
一、ssh的启动 ssh localhost二、hadoop的HDFS的格式化 bin/hadoop namenode -format三、hadoop的start-all.sh的启动 bin/tart-all.sh四、hadoop的datanode的启动 bin/hadoop-daemon.sh s...
分类：
其他好文 时间：
2014-11-13 20:34:07
阅读次数：
115
0.服务说明NameNodeNameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。DataNode集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到本地文件系统。需要读写..
分类：
其他好文 时间：
2014-11-12 18:07:47
阅读次数：
295
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)首先说下org.apache.hadoop.hdfs.server.datanode.fsdataset下的主要接口，FsDatasetSpi接..
分类：
其他好文 时间：
2014-11-12 12:01:17
阅读次数：
228
向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。
解决的办法：
1、从其他非datanode节点上传
可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让namenode...
分类：
Web程序 时间：
2014-11-07 17:10:35
阅读次数：
200
操作系统centos6.3(64位) 一个namenode 两个datanode
Hadoop版本：hadoop-1.1.2
Eclipse版本：eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.zip（
Eclipse SDK For Linux 4.4 RC 2(64 Bit )
）
JDK：版本
[work@...
分类：
系统相关 时间：
2014-11-07 17:04:40
阅读次数：
288
Hadoop源码学习笔记(3) ——初览DataNode及学习线程 进入了main函数，我们走出了第一步，接下来看看再怎么走： public class DataNode extends Configured implements InterDatanodeProtocol,ClientDatan....
分类：
编程语言 时间：
2014-11-06 21:49:35
阅读次数：
229
