在Storm中， 开发者可以为上游spout/bolt发射出的tuples指定下游bolt的哪个/哪些task(s)来处理该tuples。这种指定在storm中叫做对stream的分组，即stream grouping，分组方式主要有以下7种Shuffle Grouping 或 None Group...
分类：
其他好文 时间：
2015-07-10 02:05:52
阅读次数：
195
问题：当完成Topology各个组件的定义之后（写好了**Spout.java 和 **Bolt.java）如何将Topology提交到集群中去？ 参考：http://www.cnblogs.com/fxjwind/archive/2013/06/05/3119056.html 1，在**Topol...
分类：
其他好文 时间：
2015-07-01 20:00:25
阅读次数：
255
首先说明下问题的情况， 1、我storm 环境已经搭建完成，在本地测试wordcount是没问题的， 2、我在wordcount中加入一个MysqlBolt，此Bolt只是简单的把 wordcount的结果存入mysql数据库中，在本地模式测试测试时，完...
分类：
数据库 时间：
2015-06-22 19:28:02
阅读次数：
263
Storm通过分组来指定数据的流向，主要指定了每个bolt消费哪个流，以及如何消费。
storm内置了7个分组方式，并提供了CustomStreamGrouping来创建自定义的分组方式。
1、随机分组 shuffleGrouping
这种方式会随机分发tuple给bolt的各个task，每个task接到到相同数量的tuple。
2、字段分组 fieldGrouping
按照...
分类：
其他好文 时间：
2015-06-17 15:27:40
阅读次数：
490
（一）一个例子
本示例使用storm运行经典的wordcount程序，拓扑如下：
sentence-spout—>split-bolt—>count-bolt—>report-bolt
分别完成句子的产生、拆分出单词、单词数量统计、统计结果输出
完整代码请见 https://github.com/jinhong-lu/stormdemo
以下是关键代码的分析。
1、创建spout
...
（一）storm拓扑的并行度可以从以下4个维度进行设置：
1、node（服务器）：指一个storm集群中的supervisor服务器数量。
2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。
3、executor（线程）：指某个spout或者bolt的总线程数量，这些线程会被随机平均的分配到各个worker。
4、task（spo...
分类：
其他好文 时间：
2015-06-17 11:25:53
阅读次数：
157
Spout的实现步骤：· 对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。· 在数据得到了字段的说明后，将其转换成tuple。· 声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。Spout的具体编码在Listing Three中显示。Listing Thr...
分类：
其他好文 时间：
2015-06-12 18:47:07
阅读次数：
88
Spout的实现步骤：
· 对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。
· 在数据得到了字段的说明后，将其转换成tuple。
· 声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。
Spout的具体编码在Listing Three中显示。
Listing Three：Spout中open、nextTupl...
分类：
其他好文 时间：
2015-06-12 17:22:50
阅读次数：
181
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。2. 字段分组（Fields group...
分类：
其他好文 时间：
2015-06-09 19:11:06
阅读次数：
141
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：
1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。
2. 字段分组（Fields grouping）：根据指定字段分割数据流，并分组。例如，根据“user-id”字段，相同“u...
分类：
其他好文 时间：
2015-06-09 17:18:08
阅读次数：
98
