Hdfs环境搭建
下载最新版本的Hadoop编译好的tar包：http://hadoop.apache.org/releases.html确认HDFS namenode和datanode的角色，并将namenode以及datanode的ip机器名对应关系写进每台机器的/etc/hosts文件。
确认namenode可以不需要密码就一个通过ssh联通datanode结点。
执行如下...
分类：
其他好文 时间：
2015-04-15 21:33:56
阅读次数：
152
下图描述了在文件读过程中，client、NameNode和DataNode三者之间是如何互动的。
1. client调用get方法得到HDFS文件系统的一个实例（DistributedFileSystem）。然后调用它的open方法。
2. DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolc...
分类：
其他好文 时间：
2015-04-14 11:12:18
阅读次数：
121
1、Hadoop-root-datanode-master.log 中有如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致dat...
分类：
其他好文 时间：
2015-04-13 18:49:08
阅读次数：
158
集群分布式Hadoop系统安装及测试
本系统一共有三个节点，一个namenode，两个datanode，IP和主机名对应如下：
192.168.1.19 namenode
192.168.1.7 datanode1
192.168.1.20 datanode2
1、安装配置
1）、安装配置JDK，在三个节点都需要安装，下面...
分类：
其他好文 时间：
2015-04-08 18:15:17
阅读次数：
252
1）NameNode、DataNode和Client
NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。
DataNode是文件存储的基本单元，它将Block存储在...
分类：
其他好文 时间：
2015-03-31 14:50:15
阅读次数：
184
系统：ubuntu 14.04
HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后，用JPS检查能看到一下六个进程：14779 DataNode
15322 NodeManager
14657 NameNode
15194 ResourceManager
17656 Jps
14979 SecondaryNameNode接下来我们需要运行Word...
分类：
编程语言 时间：
2015-03-29 13:42:54
阅读次数：
217
1、dfs.hosts 记录即将作为datanode加入集群的机器列表 2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表 3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表 4、master 记录运行辅...
分类：
其他好文 时间：
2015-03-21 17:17:02
阅读次数：
247
DataTransferThrottler类用于在Datanode读写数据时控制数据传输速率。这个类是线程安全的，可以被多个线程共享使用。使用方式是先构造DataTransferThrottler对象并设置周期period和带宽bandwidthPerSec，然后在数据实际读写前调用DataTransferThrottler.throttle()方法。如果I/O的速率相对给定的带宽太快，则该方法会将当前线程wait。...
分类：
其他好文 时间：
2015-03-14 15:29:08
阅读次数：
238
hadoop-root-datanode-ubuntu.log中：2015-03-12 23:52:33,671 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool ....
分类：
其他好文 时间：
2015-03-14 06:11:25
阅读次数：
7165
将硬盘挂载到指定目录，如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data ...
分类：
其他好文 时间：
2015-03-11 14:23:44
阅读次数：
111
