DataTransferThrottler类用于在Datanode读写数据时控制数据传输速率。这个类是线程安全的，可以被多个线程共享使用。使用方式是先构造DataTransferThrottler对象并设置周期period和带宽bandwidthPerSec，然后在数据实际读写前调用DataTransferThrottler.throttle()方法。如果I/O的速率相对给定的带宽太快，则该方法会将当前线程wait。...
分类：
其他好文 时间：
2015-03-14 15:29:08
阅读次数：
238
hadoop-root-datanode-ubuntu.log中：2015-03-12 23:52:33,671 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool ....
分类：
其他好文 时间：
2015-03-14 06:11:25
阅读次数：
7165
将硬盘挂载到指定目录，如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data ...
分类：
其他好文 时间：
2015-03-11 14:23:44
阅读次数：
111
软件版本：Hadoop：2.6.0； Mahout：1.0（自行编译，只使用了两个jar文件）；Spring：4.0.2；Struts：2.3；Hibernate：4.3；jQuery EasyUI ：1.3.6；MySql：5.6；浏览器：chrome；MyEclipse：10.0；Hadoop平台配置：node1: NameNode/ResourceManger/DataNode/NodeM...
分类：
其他好文 时间：
2015-03-11 01:58:18
阅读次数：
146
1. 安全模式HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有...
分类：
其他好文 时间：
2015-03-11 00:28:42
阅读次数：
144
读取文件：
下图是HDFS读取文件的流程：
这里是详细解释：
1.当客户端开始读取一个文件时，首先客户端从NameNode取得这个文件的前几个block的DataNode信息。（步骤1,2）
2.开始调用read()，read()方法里，首先去读取第一次从NameNode取得的几个Block，当读取完成后，再去NameNode拿下一批Block的...
分类：
其他好文 时间：
2015-03-09 22:35:35
阅读次数：
209
概念：
HDFS会把一个很大的文件分块（与传统的文件系统类似），存放在不同的DataNode上。不过这个块是个逻辑概念，比较大，默认是64M。
Hadoop以“管理者-工作者”模式运行。NameNode就是管理者，它保存了文件系统中所有文件以及目录信息。也记录了每个文件的分块信息。但这些分块具体在哪些机器上存储则由DataNode自己上报。
容错:
NameNode的容错：
所有的文...
分类：
其他好文 时间：
2015-03-09 22:33:56
阅读次数：
267
hadoop2对比hadoop1 1、体系结构 HDFS+MapReduce,共同点都是分布式的，主从关系结构。 HDFS=一个NameNode+多个DataNode, NameNode含有我们用户存储的文件的元数据信息。数据本身是放在硬盘上的，但是在运行时是加载在内存里的。 缺点：（1）当...
分类：
其他好文 时间：
2015-03-08 20:01:09
阅读次数：
138
为什幺要压缩？压缩会提高计算速度？这是因为mapreduce计算会将数据文件分散拷贝到所有datanode上，压缩可以减少数据浪费在带宽上的时间，当这些时间大于压缩/解压缩本身的时间时，计算速度就会提高了。 hadoop的压缩除了将输入文件进行压缩外，hadoop本身还可以在计算过程中将map输出以...
分类：
其他好文 时间：
2015-03-05 22:14:49
阅读次数：
139
一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：root安装系统要求：需要先安装JDK7或者以上版本，推荐JDK7U55或者以后版本。二，安装JDK7安装JDK7U55或者以上版本。这里安装JDK1.7.0_75。下载...
分类：
其他好文 时间：
2015-03-05 18:39:25
阅读次数：
246
