ISpout定义了?7个方法： 1、?open(Map conf, TopologyContext context, SpoutOutputCollector collector);?? ? ? ?初始化时被调用，提供spout运行环境 ? ? ?@param conf 对spout的配置 ? ? ?@param ...
分类：
其他好文 时间：
2015-07-21 17:24:02
阅读次数：
126
在Storm中， 开发者可以为上游spout/bolt发射出的tuples指定下游bolt的哪个/哪些task(s)来处理该tuples。这种指定在storm中叫做对stream的分组，即stream grouping，分组方式主要有以下7种Shuffle Grouping 或 None Group...
分类：
其他好文 时间：
2015-07-10 02:05:52
阅读次数：
195
问题：当完成Topology各个组件的定义之后（写好了**Spout.java 和 **Bolt.java）如何将Topology提交到集群中去？ 参考：http://www.cnblogs.com/fxjwind/archive/2013/06/05/3119056.html 1，在**Topol...
分类：
其他好文 时间：
2015-07-01 20:00:25
阅读次数：
255
storm blueprint: P20
从零开始学storm : P40
可靠性：spout发送的消息会被拓扑树上的所有节点ack，否则会一直重发。
完整的可靠性示例请参考storm blueprint的chapter1 v4代码，或者P22。
关键步骤如下：
（一）spout
1、创建一个map，用于记录已经发送的tuple的id与内容，此为待确认的tuple列表。
priva...
分类：
其他好文 时间：
2015-06-17 16:46:10
阅读次数：
135
（一）storm拓扑的并行度可以从以下4个维度进行设置：1、node（服务器）：指一个storm集群中的supervisor服务器数量。2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。3、executor（线程）：指某个spout或者bo...
分类：
其他好文 时间：
2015-06-17 13:18:10
阅读次数：
152
（一）一个例子
本示例使用storm运行经典的wordcount程序，拓扑如下：
sentence-spout—>split-bolt—>count-bolt—>report-bolt
分别完成句子的产生、拆分出单词、单词数量统计、统计结果输出
完整代码请见 https://github.com/jinhong-lu/stormdemo
以下是关键代码的分析。
1、创建spout
...
（一）storm拓扑的并行度可以从以下4个维度进行设置：
1、node（服务器）：指一个storm集群中的supervisor服务器数量。
2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。
3、executor（线程）：指某个spout或者bolt的总线程数量，这些线程会被随机平均的分配到各个worker。
4、task（spo...
分类：
其他好文 时间：
2015-06-17 11:25:53
阅读次数：
157
storm高可靠性：storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制：1.节点故障迁移 当一个节点上的worker出现问题是，会自动切到其他节点；2.消息完整发送一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类：
其他好文 时间：
2015-06-13 06:16:10
阅读次数：
182
实例分析lifeCycle：RandomWordSpout 1 package cn.itcast.storm.spout; 2 import java.util.Map; 3 import java.util.Random; 4 import org.apache.commons.logging....
分类：
其他好文 时间：
2015-06-13 01:03:01
阅读次数：
163
Spout的实现步骤：· 对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。· 在数据得到了字段的说明后，将其转换成tuple。· 声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。Spout的具体编码在Listing Three中显示。Listing Thr...
分类：
其他好文 时间：
2015-06-12 18:47:07
阅读次数：
88
