关于storm的Spout、Bolt结构图 绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关的，在以后的文章会具体讲解。 BaseComponent 是Storm提供的“偷懒”的类。为什么这么说呢，它及其子类，都或多或少实现了其接口定义的部分方法。这样我们在用的时候，可以直接继承该类，.....
分类：
其他好文 时间：
2015-04-14 16:27:14
阅读次数：
663
Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己...
分类：
其他好文 时间：
2015-04-12 14:33:28
阅读次数：
3522
一、Storm中执行的组件 我们知道，Storm的强大之处就是能够非常easy地在集群中横向拓展它的计算能力，它会把整个运算过程切割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是执行在集群中的一个Spout或Bolt实例。 为了方便理解Storm怎样并行处理我们分给.....
分类：
其他好文 时间：
2015-02-23 09:36:35
阅读次数：
161
本题其实就是storm的wordcout,需要把一个gz压缩的文件读取，并使用storm计算其pv. 样本 数据： 存储为accesslog.gz 我把它加载到我的虚拟机中/mnt/下。 没有使用trident，刚学习最基本的。 所以把spout的数目设定为1. 把文件路径存储在config 的ma...
分类：
其他好文 时间：
2015-02-07 14:25:20
阅读次数：
258
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类：
Web程序 时间：
2015-01-22 12:47:14
阅读次数：
496
一个topology包含一或多个spout bolt，spout负责在数据源获得数据并发送给bolt，每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的，该组件会记录包含哪些spout bolt，并做相应验证：各组件是否有id冲突,校验方法如下：
private void validateUnusedId(String id) {
...
分类：
Web程序 时间：
2015-01-16 16:47:39
阅读次数：
335
Storm保证每跳离开spout的消息都会被完全处理。本文介绍Storm是怎么保证每条消息都被完全处理并且作为用户该怎么做才能从Storm的可靠性保证受益。1、什么叫消息被完全处理？ 一个tuple从spout出发可以触发成千上万个tuples基于它。 一个tuple被认为处理失败了，如果它的消.....
分类：
其他好文 时间：
2015-01-06 17:19:16
阅读次数：
117
我们知道Storm有一个很重要的特性，那就是Storm API能够保证它的一个Tuple能够被完全处理，这一点尤为重要，下面就给大家介绍一下storm中的可靠性。
1.Spout的可靠性保证
在Storm中，消息处理可靠性从Spout开始。为了保证数据能正确的被处理, 对于spout产生的每一个tuple,storm都能进行跟踪, 这里面涉及到ack/fail的处理, 如果一个tup...
分类：
其他好文 时间：
2014-12-02 20:56:26
阅读次数：
384
转载请注明出处：
源地址：http://storm.apache.org/documentation/Guaranteeing-message-processing.html
Storm保证：每条离开spout的消息都可以得到"fullyprocessed"。本文描述了storm如何实现这种保证以及你如何能够从Storm这种可靠性能力中受益。
"fully proce...
分类：
其他好文 时间：
2014-11-28 16:20:03
阅读次数：
273
Spout:spout对象必须是继承Serializable， 因此要求spout内所有数据结构必须是可序列化的spout可以有构造函数，但构造函数只执行一次，是在提交任务时，创建spout对象，因此在task分配到具体worker之前的初始化工作可以在此处完成，一旦完成，初始化的内容将携带到每一个...
分类：
其他好文 时间：
2014-11-24 13:26:18
阅读次数：
172
