刚开始接触Storm，总体来说是一个订阅发布的功能，中间件 主要由3部分组成，spout bolt topology 1.spout 消息源 有两种实现方式，继承BaseRichSpout类和实现IRichSpout接口 主要用来接收消息，并发射给bolt 有以下几个方法: 1.1 open:初始化
分类：
其他好文 时间：
2016-01-28 18:45:19
阅读次数：
147
Bolt是Topology中的数据处理的单元，也是Storm针对处理过程的编程单元。Topology中所有的处理都是在这些Bolt中完成的，编程人员可以实现自定义的处理过程，例如，过滤、函数、聚集、连接等计算。如果是复杂的计算过程，往往需要多个步骤和使用多个Bolt。 Bolt可以将数据项发送...
分类：
其他好文 时间：
2016-01-16 21:01:20
阅读次数：
272
Storm系统的数据处理应用单元，是被打包的被称为Topology的作业。 它是由多个数据处理阶段组合而成的，而每个处理阶段在构造时被称为组件(Component),在运行时被称为任务。那么，组件根据作用的不同，在Storm中分为两类:Spout组件和Bolt组件。而Topology就是这两类组件通...
分类：
其他好文 时间：
2016-01-10 22:33:04
阅读次数：
194
Storm可支持多种语言，其中就有python .首先需要创建一个类， public static class BasieCalculateBolt extends ShellBolt implements IRichBolt { public BasieC...
分类：
编程语言 时间：
2015-12-28 13:52:20
阅读次数：
208
stream grouping就是用来定义一个stream应该如果分配给Bolts上面的多个Tasks。storm里面有6种类型的stream grouping:1. Shuffle Grouping: 随机分组， 随机派发stream里面的tuple， 保证每个bolt接收到的tuple数目相同。...
分类：
其他好文 时间：
2015-12-24 22:08:43
阅读次数：
243
Todo:对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出编写KafkaSink从$KAFKA...
分类：
Web程序 时间：
2015-11-27 17:43:28
阅读次数：
290
Vector Willman and Array Bolt are the two most famous athletes of Byteforces. They are going to compete in a race with a distance ofLmeters today.Will...
分类：
其他好文 时间：
2015-11-03 22:26:42
阅读次数：
232
理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系先来看一张图（图片来自：http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_superv...
分类：
其他好文 时间：
2015-10-31 20:02:11
阅读次数：
308
Shuffle grouping: Tuples被随机分配到每一个bolt’s task，以便于每一个bolt’s task获得相同数量的tuples。Fields grouping: Stream被根据属性（fields）进行分组。举例：如果一个Stream根据“user-id”分组，具有相同“u...
分类：
其他好文 时间：
2015-10-21 18:59:01
阅读次数：
282
Storm系列(十六)架构分析之Executor-Bolt
分类：
其他好文 时间：
2015-10-19 15:23:47
阅读次数：
751
