Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolttasktask是storm中进行计算的最小的运行单位，表示是spout或者bolt的运行实例..
分类：
其他好文 时间：
2015-05-22 19:35:56
阅读次数：
121
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt tasktask是storm中进行计算的最小的运行单位，...
分类：
其他好文 时间：
2015-05-22 16:42:33
阅读次数：
175
Storm的并行度详解
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。
那strom是如何提高并行度的呢？
Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt
task
task 是storm中进行计算的最小的运行单位，表示是spout或者b...
分类：
其他好文 时间：
2015-05-22 15:15:47
阅读次数：
116
Nimbus: 负责资源分配和任务调度，把任务相关的元信息写入Zookeeper相应目录中。
Supervlsor: 负责接收Nimbus分配的任务，启动和停止属于自己管理的worker进程。
Worker: 运行具体处理组件逻辑的线程。
Executor: 运行Splout/bolt的线程。
Task： worker中每一个spout/bolt的线程称为一个task.
Topolo...
分类：
其他好文 时间：
2015-05-22 11:32:02
阅读次数：
184
问题导读：1.你认为什么图形可以显示hadoop与storm的区别？（电梯）2.本文是如何形象讲解hadoop与storm的？（离线批量处理、实时流式处理）3.hadoop map/reduce对应storm那两个概念？（spout/bolt）4.storm流由谁来组成？（Tuples）5.tupl...
分类：
其他好文 时间：
2015-05-12 22:38:16
阅读次数：
158
在上一次单词计数的基础上做如下改动： 使用?Direct Grouping 分组策略，将首字母相同的单词发送给同一个task计数 数据源spout package com.zhch.v3;
import backtype.storm.spout.SpoutOutputCollector;
impor...
分类：
其他好文 时间：
2015-05-03 22:10:54
阅读次数：
311
在上一次单词计数的基础上做如下改动： 1. 使用可靠的消息处理机制 2. 配置?worker 、executor、task 数量 3. 使用集群模式提交 数据源spout package com.zhch.v2;
import backtype.storm.spout.SpoutOutputCo...
分类：
其他好文 时间：
2015-05-03 19:12:59
阅读次数：
173
对于Storm，它有一个很重要的特性：“Guarantee no data loss” ——可靠性很显然，要做到这个特性，必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。先概括下acker所参与的工作流程：Spout创建一个新的Tuple时，会发一个消息通知ac...
分类：
其他好文 时间：
2015-04-19 10:05:25
阅读次数：
226
一、简介 Storm 可以保证 spout 发出的每条消息都能被“完全处理” ，这也是直接区别于其他实时系统的地方，如 S4。 请注意，spout 发出的消息后续可能会触发产生成千上万条消息 ，可以形象的理解为一棵消息树， 其中 spout 发出的消息为树根， Storm会跟踪这棵消息树的处理情.....
分类：
其他好文 时间：
2015-04-18 19:11:39
阅读次数：
136
流的合并操作，是指根据两个流的关联条件将两个流合并成一个流，然后在进行后面的处理操作，如果使用Spout和Bolt这种编程模型的话写起来会比较困难和繁琐，因为要设置缓冲区来保存第一次过来的数据，后续还要进行两者的比较，使用Trident应用起来比较方便，对原来的编程模型进行了一定的抽象。代码实例：
需求：
两个spout： spout1:里面的数据是 nam...
分类：
其他好文 时间：
2015-04-16 19:57:03
阅读次数：
212
