码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop技术内幕HDFS-笔记11之HDFS

时间:2014-07-03 18:51:20      阅读:266      评论:0      收藏:0      [点我收藏+]

标签:des   cWeb   文件   数据   os   art   

Hdfs文件系统,提供了一套基于hadoop的抽象文件系统的API,支持以流的方式访问文件系统中的数据。

特性:

1、  支持超大文件

2、  检测和快速应对硬件故障(故障检测和自动恢复)

3、  流式数据访问,注重的是数据的吞吐量,而不是数据的响应速度

4、  简化的一致性模型,一次写入,多次读取。

不适合:

5、  低延迟数据访问,和用户的实时交互,由于hadoop对高数据吞吐量进行了优化,而牺牲了数据的延迟,对于低延迟访问,可以考虑hbase或cassandra

 bubuko.com,布布扣

1.1.1.          Hdfs体系结构

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

正常水平的副本数即副本系数

Namenode:

bubuko.com,布布扣

bubuko.com,布布扣

SNN:

bubuko.com,布布扣

bubuko.com,布布扣

Datanode:

bubuko.com,布布扣

客户端:

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

源码文件:org.apache.hadoop.hdfs包下

关于源码实现,可在实际工作需要的时候查看。

2.      基于远程调用的接口

bubuko.com,布布扣

bubuko.com,布布扣

Hdfs主要流程,在需要的时候可以详细分析一下。

 

 

 

 

Hadoop技术内幕HDFS-笔记11之HDFS,布布扣,bubuko.com

Hadoop技术内幕HDFS-笔记11之HDFS

标签:des   cWeb   文件   数据   os   art   

原文地址:http://www.cnblogs.com/jsunday/p/3821350.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!