Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop一样Storm也可以处理大批量的数据，然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时；也就是说，所有的信息都会被处理。 Storm同样还具备容错和分布计算这些特性，这就让Storm可以扩展到不同的机器上进行大批量的数...
分类：
其他好文 时间：
2015-05-08 21:52:50
阅读次数：
148
1 IDL 首先是storm.thrift, 作为IDL里面定义了用到的数据结构和service? 然后backtype.storm.generated, 存放从IDL通过Thrift自动转化成的Java代码 比如对于nimbus service? 在IDL的定义为, service Nimbus { ...
分类：
其他好文 时间：
2015-05-08 18:34:32
阅读次数：
180
1.创建maven项目：pom.xml: 4.0.0 storm.book Getting-Started 0.0.1-SNAPSHOT org.apache.maven.plugins maven-compiler-plugin ...
分类：
其他好文 时间：
2015-05-08 01:43:12
阅读次数：
262
分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发...
分类：
其他好文 时间：
2015-05-06 14:51:36
阅读次数：
174
在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计...
分类：
其他好文 时间：
2015-05-06 12:37:56
阅读次数：
181
摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。简单和明了，Storm让大数据分析变得轻松加愉快。当...
分类：
其他好文 时间：
2015-05-05 23:41:08
阅读次数：
252
普通Topology
如果建立自己的Topology(非Transactional的)，用户通常需要利用如下接口和对象：
IRichBolt
IRichSpout
TopologyBuilder
public interface ISpout extends Serializable {
void open(Map conf, TopologyContext c...
如何合并小文件，减少map数？
假设一个SQL任务：
Select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04’;
该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04
共有194个文件，其中很多是远...
分类：
其他好文 时间：
2015-05-05 16:36:33
阅读次数：
248
1. 修改所有节点的 storm.yaml 配置文件，设置 drpc server? [grid@hadoop6 ~]$ vim storm-0.9.4/conf/storm.yaml
drpc.servers:
- "hadoop4" 2. 启动drcp服务? storm drpc & 3. 编写服务端程序? //来源于...
分类：
其他好文 时间：
2015-05-05 01:25:48
阅读次数：
230
