码迷,mamicode.com
首页 > 其他好文 > 详细

HDFS优缺点

时间:2017-09-06 23:51:28      阅读:160      评论:0      收藏:0      [点我收藏+]

标签:保存   机制   并发   容错性   2.0   数据   解决   大数据处理   恢复   

HDFS解决大数据存储的问题

HDFS优点

  • 高容错性

    数据自动保存多个副本

    副本丢失后自动恢复

  • 适合批处理

    移动计算而非数据

    数据位置暴露给计算框架

  • 适合大数据处理

    GB、TB、甚至PB级数据

    百万规模以上的文件数据量

    10K+结点

  • 可构建在廉价机器上(为啥-->因为有高容错性,即使机器挂了数据也不会丢)

    通过多副本提高可靠性

    提供了容错和恢复机制

HDFS缺点

  • 低延迟数据访问(读一些小文件的时候,寻址时间可能会比读数据还长)

 

  • 小文件存储(想办法转成大文件)

    占用namenode大量内存(元数据信息)

    寻道时间超过读取时间

  • 并发写入、文件随机修改

    一个文件只能有一个写者

    不支持内容修改,虽然2.0仅支持append,但一般生产环境不会开放(涉及到副本的修改,涉及文件大小改变切分)

 

HDFS优缺点

标签:保存   机制   并发   容错性   2.0   数据   解决   大数据处理   恢复   

原文地址:http://www.cnblogs.com/maikerniuniu/p/7487435.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!