HDFS体系结构

标签：style   c   code   a   strong   文件   

1. HDFS的设计目标
   1. 检测以及快速恢复硬件问题.
   2. 流式的数据访问.
   3. 移动计算比移动数据的代价小.
   4. 简化一致性模型.
   5. 超大规模数据集
   6. 异构软硬件平台之间的可移植性.
2. HDFS的结构模型
   HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器.管理文件系统的命名空间和和客户端对文件的访问操作.DataNode是集群中的一般节点.负责数据的存储.客户端通过NameNode
   向DataNode节点交换访问文件系统.联系NameNode获取文件元数.文件I/O操作直接和NameCode进行交互.从数据的内部看文件被分为若干个数据块.典型数据块的大小为 64MB. 假设如果客户端要访问一个文件。首先，客户端从NameNode中获得
   组成文件的数据块位置的列表,即知道数据块存储在哪些DateNode 中；然后客户端直接从DataNode上读取文件数据.NameNode不参与文件传输.NameNode 是HDFS的守护程序。主要负责大数据文件如何被分割成数据块。被分割后的数据块分别为存储在哪些DataNode的数据节点上.
   NameNode负责维护文件系统的命名空间.任何对文件系统的名称空间或属性的修改都将被NameNode记录下来.
   
3. 数据的复制与存放
   HDFS是在大集群中跨机器可靠地存储超大文件.　他将每一个文件存储成一系列的数据块.
    (1)数据的复制
   1. 　　文件的所有的数据块都有副本，这样可以提高数据的容错性.应用程序可以指定某个文件的副本数量.HDFS中的文件都是一次性写入。并且在任何时候只有一个写入者.NameNode管理数据的复制，采用周期性的从集群中的每一个DataNode中接受心跳信号可块状报告。如果接受到心跳报告说明DataNde正常.
   2. 副本的存放是NDFS可靠性和性能的关键

HDFS体系结构,布布扣,bubuko.com

HDFS体系结构

标签：style   c   code   a   strong   文件   

原文地址：http://www.cnblogs.com/konglingxing/p/3753068.html