hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类：
其他好文 时间：
2014-07-11 19:02:38
阅读次数：
364
1.文件的读取在客户端执行读取操作时，客户端和HDFS交互过程以及NameNode和各DataNode之间的数据流是怎样的？下面将围绕图1进行具体讲解。 图 1 客户端从HDFS中读取数据1）客户端通过调用FileSystem对象中的open()函数来读取它做需要的数据。FileS...
分类：
其他好文 时间：
2014-07-09 13:58:58
阅读次数：
824
HDFS文件系统讲解，主要包括：1、namenode/datanode；2、数据存储副本；3、元数据持久化；4、数据模型；5、故障容错
分类：
其他好文 时间：
2014-06-30 22:01:26
阅读次数：
231
1. Hadoop中遇到的问题曾经所遇到的问题因为没有记录,所以忘了(1)NameNode没有启动成功, 是因为你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件里的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件里df...
分类：
其他好文 时间：
2014-06-28 12:47:08
阅读次数：
394
Hama学习笔记
1. Hama定义
Hama是基于HDFS上的BSP模型实现，其运行不需要MapReduce。例证如下: 在单点调试的Hama系统上，只运行NameNode、DataNode、BSPMasterRunner、GroomServerRunner和 ZooKeeperRunner进程，即可运行PageRank程序。
2. MapReduce与BSP区别
执行机制：MapR...
分类：
其他好文 时间：
2014-06-21 23:12:18
阅读次数：
268
一、执行start-dfs.sh后，datenode没有启动 查看日志如下： 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for bloc.....
分类：
其他好文 时间：
2014-06-20 19:51:18
阅读次数：
160
1、检查空间是否够用（我的就是这个原因） df -hl 查看，如果可用的很少，那就是了。2、datanode是否正常启动 访问：50070，查看datanode的个数，如果不对应，重新启动3、是否在safemode下 hadoop dfsadmin -safemode get,查看，leave...
分类：
其他好文 时间：
2014-06-19 00:14:41
阅读次数：
306
参考链接：http://blog.csdn.net/zolalad/article/details/11470449环境：ubuntu14.04 hadoop1.0.1下面以３台机器为例，讲解安装过程1)准备3台机器，一台作为nameNode，命名为master，两台作为dataNode，命名为sl...
分类：
其他好文 时间：
2014-06-18 00:06:18
阅读次数：
243
Hadoop 分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode,
DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类：
其他好文 时间：
2014-06-16 07:43:06
阅读次数：
214
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0
集群搭建，在这里我使用了两台服务器，一台作为master即namenode主机，另一台作为slave即datanode主机，增加更多的slave只需重复slave部分的内容即可。系统版本：master：Ubuntu
12....
分类：
其他好文 时间：
2014-06-10 22:01:07
阅读次数：
423
