对于分布式文件系统来说，为了保证数据的高可用性和系统容错能力，往往会把同一数据块在多个节点上进行备份，那么如何分配这些复制数据的位置，不同的文件系统会有不同的策略。一、业界分析在介绍HDFS之前，先简单了解一些其它文件系统的放置策略：1. Lustre——一致性哈希环对于不同的数据备份，需要放到不同...
分类：
其他好文 时间：
2015-03-11 01:56:10
阅读次数：
114
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的.....
分类：
其他好文 时间：
2015-03-11 01:54:02
阅读次数：
192
一、问题描述由于namenode 是HDFS的大脑，而这个大脑又是单点，如果大脑出现故障，则整个分布式存储系统就瘫痪了。HA（High Available）机制就是用来解决这样一个问题的。碰到这么个问题，首先本能的想到的就是冗余备份，备份的方式有很多种，前辈们设计的有元数据备份方案，secondar...
分类：
其他好文 时间：
2015-03-11 00:35:32
阅读次数：
211
1. 安全模式HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有...
分类：
其他好文 时间：
2015-03-11 00:28:42
阅读次数：
144
通过联合使用在多个文件系统中备份namenode的元数据和通过备用namenode创建监测点能防止数据丢失，但是依旧无法实现文件系统的高可用性。Namenode依旧存在单点失效(SPOF)的问题。如果namenode失效了，那么所有的客户端——包括MapReduce作业——均无法读、写或列(list)文件，因..
分类：
其他好文 时间：
2015-03-10 19:37:52
阅读次数：
282
读取文件：
下图是HDFS读取文件的流程：
这里是详细解释：
1.当客户端开始读取一个文件时，首先客户端从NameNode取得这个文件的前几个block的DataNode信息。（步骤1,2）
2.开始调用read()，read()方法里，首先去读取第一次从NameNode取得的几个Block，当读取完成后，再去NameNode拿下一批Block的...
分类：
其他好文 时间：
2015-03-09 22:35:35
阅读次数：
209
概念：
HDFS会把一个很大的文件分块（与传统的文件系统类似），存放在不同的DataNode上。不过这个块是个逻辑概念，比较大，默认是64M。
Hadoop以“管理者-工作者”模式运行。NameNode就是管理者，它保存了文件系统中所有文件以及目录信息。也记录了每个文件的分块信息。但这些分块具体在哪些机器上存储则由DataNode自己上报。
容错:
NameNode的容错：
所有的文...
分类：
其他好文 时间：
2015-03-09 22:33:56
阅读次数：
267
HDFS：HDFS是一个分布式文件系统。因为HDFS具有高容错性(fault-tolerent)的特点,所以可以部署到低廉的硬件上。它可以通过提高吞吐率(highthroughput)来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了对可移植操作系统接口(POSIX,portable Operating System Interface)的要求。这样可以实现以流的形式访问文件系...
分类：
其他好文 时间：
2015-03-09 19:07:04
阅读次数：
129
要了解Hadoop的消息通信机制先得了解下java的动态代理这是一个装饰模式，用动态代理实现的，用静态工场生成被代理的具体实现类。这里是集合Set的代理。定义泛型方法时必须在前面加一个,来声明这是一个泛型方法，持有一个泛型T，然后才能用泛型T作为函数返回值。InvocationHandler接口是用...
分类：
其他好文 时间：
2015-03-09 19:02:35
阅读次数：
212
hadoop2对比hadoop1 1、体系结构 HDFS+MapReduce,共同点都是分布式的，主从关系结构。 HDFS=一个NameNode+多个DataNode, NameNode含有我们用户存储的文件的元数据信息。数据本身是放在硬盘上的，但是在运行时是加载在内存里的。 缺点：（1）当...
分类：
其他好文 时间：
2015-03-08 20:01:09
阅读次数：
138
