数据流分流和合并数据流经常需要分流与合并操作，如下图所示：分流分流有2钟情况，第一种是，相同的tuple发往下一级不同的bolt， 第二种，分别发送不同的tuple到不同的下级bolt上。发送相同tuple其实和普通1v1 发送一模一样，就是有2个或多个bolt接收同一个spout或bolt的数据 ...
分类：
其他好文 时间：
2014-11-23 22:59:44
阅读次数：
4962
Topology是Jstorm对有向无环图的抽象，内部封装了数据来源spout和数据处理单元bolt，以及spout和bolt、bolt和bolt之间的关系，它可以被提交到Jstorm集群。
本文以Jstorm自带的SequenceTopology简单介绍一下Jstorm提交topology的过程，本文主要介绍提交过程，不涉及具体业务，
1、 SequenceTopology核心方法c...
分类：
Web程序 时间：
2014-11-19 01:46:37
阅读次数：
273
一、Storm中运行的组件
我们知道，Storm的强大之处就是可以很容易地在集群中横向拓展它的计算能力，它会把整个运算过程分割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是运行在集群中的一个Spout或Bolt实例。
为了方便理解Storm如何并行处理我们分给它的任务,这里我先介绍一下在集群中涉及到Topology的四种组件：
...
分类：
其他好文 时间：
2014-11-13 16:35:06
阅读次数：
266
过程,Spout 发送msgid 1-10一级Bolt， msgid1的tuple做为基本组合tuple, 其他8个和一组合, 然后发送给二级Bolt， 同时单个msgid对应的tuple都ack一次，msgid1对象tuple, acker将会跟踪8个二级bolt处理情况.二级Bolt，发送ack...
分类：
其他好文 时间：
2014-10-03 23:48:05
阅读次数：
503
看过一些别人写的， 感觉有些东西没太说清楚，个人主要以源代码跟踪，参考个人理解讲述，有错误请指正。1基本名词1.1 Tuple: 消息传递的基本单位。很多文章中介绍都是这么说的， 个人觉得应该更详细一点。在spout发送的时候，函数原型 public List emit(List tuple, Ob...
分类：
其他好文 时间：
2014-10-03 14:18:44
阅读次数：
232
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，...
分类：
其他好文 时间：
2014-10-01 17:02:51
阅读次数：
360
最近在使用storm做了一下数据处理性能测试。 ? ? Topology结构：spout输出80万数据（csv格式）；bolt1解析csv，拆分各信息段；bolt2按bolt1中某个字段汇总，累加记数后入库（入库触发频率：60s）。 ? ?...
分类：
其他好文 时间：
2014-09-23 17:43:35
阅读次数：
179
Nimbus ：负责资源分配和任务调度, 把任务相关的元信息写入Zookeeper 相应目录。
Supervisor ：负责接受nimbus 分配的任务，启动和停止属于自己管理的worker 进程。
Worker ：运行具体处理组件逻辑的进程。
Executor ：运行spout/bolt 的线程
Task ： worker 中每一个spout/bolt 的线程称为一个task.
Topology ： storm 中运行的实时应用程序，消息在各个组件间流动形成逻辑上的拓扑结构。
Spout ：在一个topo...
分类：
其他好文 时间：
2014-08-20 12:39:12
阅读次数：
171
由于项目需要，最近对storm进行了预研，安装与使用方式网上有很多示例，在此记录一下，备忘。 一、storm简介 ????Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。S...
分类：
其他好文 时间：
2014-08-06 12:04:11
阅读次数：
409
一、Storm概述
Storm是一个分布式的、可靠的、零失误的处理流式数据的系统。它的工作就是委派各种组件分别独立的处理一些简单任务。在Storm集群中处理输入流的是Spout组件，而Spout又把读取的数据传递给叫Bolt的组件。Bolt组件会对收到的数据元组进行处理，也有可能传递给下一个Bolt。我们可以把Storm集群想象成一个由bolt组件组成的链条集合，数据在这些链条上传输...
分类：
其他好文 时间：
2014-08-04 10:59:37
阅读次数：
273
