码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop/storm以及hive/hbase/pig区别整理

时间:2014-11-16 21:24:49      阅读:223      评论:0      收藏:0      [点我收藏+]

标签:blog   http   ar   os   sp   java   文件   数据   on   

STORM与HADOOP的比较

对于一堆时刻在增长的数据,如果要统计,可以采取什么方法呢?

  1. 等数据增长到一定程度的时候,跑一个统计程序进行统计。适用于实时性要求不高的场景。
    如将数据导到HDFS,再运行一个MAP REDUCE JOB。
  2. 如果实时性要求高的,上面的方法就不行了。因此就带来第二种方法。
    在数据每次增长一笔的时候,就进行统计JOB,结果放到DB或搜索引擎的INDEX中。
    STORM就是完成这种工作的。


HADOOP与STORM比较

    1. 数据来源:HADOOP是HDFS上某个文件夹下的可能是成TB的数据,STORM是实时新增的某一笔数据
    2. 处理过程:HADOOP是分MAP阶段到REDUCE阶段,STORM是由用户定义处理流程,
      流程中可以包含多个步骤,每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)
    3. 是否结束:HADOOP最后是要结束的,STORM是没有结束状态,到最后一步时,就停在那,直到有新
      数据进入时再从头开始
    4. 处理速度:HADOOP是以处理HDFS上大量数据为目的,速度慢,STORM是只要处理新增的某一笔数据即可
      可以做到很快。
    5. 适用场景:HADOOP是在要处理一批数据时用的,不讲究时效性,要处理就提交一个JOB,STORM是要处理
      某一新增数据时用的,要讲时效性
    6. 与MQ对比:HADOOP没有对比性,STORM可以看作是有N个步骤,每个步骤处理完就向下一个MQ发送消息,
      监听这个MQ的消费者继续处理

hadoop/storm以及hive/hbase/pig区别整理

标签:blog   http   ar   os   sp   java   文件   数据   on   

原文地址:http://www.cnblogs.com/kxdblog/p/4101907.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!