worker：topology的进程。 executor：线程，由worker产生。 task：具体一个?spout/bolt的实例。 thread和task关系：一个thread可以运行多个实例，但是如果不显示设定task数量：setNumTasks(n)，一个thread默认执...
分类：
其他好文 时间：
2015-09-04 12:57:45
阅读次数：
190
storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”是什么意思？就如同蝴蝶效应一样，从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生， ...
分类：
其他好文 时间：
2015-08-29 16:52:03
阅读次数：
107
1上午学习了JStorm数据流组
spout和bolt都可以并发的执行多个任务，因此必须有一种方法指定哪个数据流路由到哪个spout/bolt，数据流组用来指定一个拓扑内的路由过程。
1) 随机数据流组，是比较常用的一种方式，它指定了一个参数——数据源组件，然后该数据源会向随机选择的bolt发送tuple，当然，JStorm会保证每个bolt接到任务的均衡性。实现方法:shuffleGr...
分类：
其他好文 时间：
2015-08-27 11:14:41
阅读次数：
153
注意：JStorm马上融合到Strom内核了，这意味着以后没有Strom了。
配置executors和tasks（线程和实例）
请始终记得标题：executors和tasks（线程和实例），executors代表线程概念，tasks代表spout或bolt实例。
Storm默认会为每个组成（spout/bolt）创建一个任务（task），默认一个任务运行被一个线程（exe...
分类：
编程语言 时间：
2015-08-17 01:08:05
阅读次数：
144
今天结合JStorm官方Demo，进一步研磨学习了JStorm提交任务到分配任务的过程，下面是自己的一些认识与理解。
Topology是JStorm对有向无环图的抽象，其内部封装了数据源spout和数据处理对象bolt，以及spout和bolt、bolt和bolt之间的关系。
1) Demo中SequenceTopology对象的SetBuilder(TopologyBuilder b...
分类：
Web程序 时间：
2015-08-16 16:43:23
阅读次数：
237
1、storm事务性topology的提出对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个msg是否发送成功，进而spout可以重发该msg，保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中，需要保障一次只有一次的语义，比如需要精确统...
分类：
其他好文 时间：
2015-08-04 20:45:20
阅读次数：
137
4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被...
分类：
其他好文 时间：
2015-08-04 00:07:33
阅读次数：
139
Spout数据源：Messagequeue消息队列 必须使用MQ、Db、文件直接流数据源：MQ从db只能读配置文件Log文件增量数据：1、读出内容写入MQ，2、Storm处理Spout读文件：学习用，其他无用读文件：1、分布式应用无法读；2、spout开并发会重复读Stream grouping策略...
分类：
其他好文 时间：
2015-08-03 18:40:20
阅读次数：
214
数据来源：HADOOP是HDFS上某个文件夹下的可能是成TB的数据，STORM是实时新增的某一笔数据；Hadoop与Storm的比较处理过程：HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)...
分类：
其他好文 时间：
2015-07-31 21:51:12
阅读次数：
201
背景前期收到的问题：
1、在Topology中我们可以指定spout、bolt的并行度，在提交Topology时Storm如何将spout、bolt自动发布到每个服务器并且控制服务的CPU、磁盘等资源的？
2、Storm处理消息时会根据Topology生成一棵消息树，Storm如何跟踪每个消息、如何保证消息不丢失以及如何实现重发消息机制？
上篇：storm是如何保证at least onc...
分类：
其他好文 时间：
2015-07-23 00:44:11
阅读次数：
113
