消息的可靠性保障 Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制，以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tu
分类：
其他好文 时间：
2016-03-03 12:54:06
阅读次数：
158
ITransactionalSpout 基本事务Topology的Spout接口，内含两部分接口：协调Spout接口以及消息发送Blot接口。 TransactionalSpoutBatchExecutor Bolt类型，用于执行ITransactionalSpout中的消息发送Bolt节点。 Tr...
分类：
其他好文 时间：
2016-02-13 12:18:01
阅读次数：
222
工作进程(Worker Process) Worker是Spout/Bolt中运行具体处理逻辑的进程。拓扑跨一个或多个Worker进程执行。每个Worker进程是一个物理的JVM和拓扑执行所有任务的一个子集。例如，如果合并并行度的拓扑是300，已经分配50个Worker，然后每个Worker将执行6
分类：
其他好文 时间：
2016-01-31 21:19:57
阅读次数：
263
有了基本的概念之后，我们用jstorm来做一点小事情吧 做一个很无聊的事情：给定一个时间戳，输出对应的问候语 规则是：时间戳的十位对应的数字对应不同的时间段，0-2代表早上，3代表中午，4-6代表下午，7-9代表晚上，分别输出早上，中午，下午和晚上。 我们用spout来发送时间戳，bolt来处理时间
分类：
Web程序 时间：
2016-01-30 22:40:21
阅读次数：
373
刚开始接触Storm，总体来说是一个订阅发布的功能，中间件 主要由3部分组成，spout bolt topology 1.spout 消息源 有两种实现方式，继承BaseRichSpout类和实现IRichSpout接口 主要用来接收消息，并发射给bolt 有以下几个方法: 1.1 open:初始化
分类：
其他好文 时间：
2016-01-28 18:45:19
阅读次数：
147
转自：http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”...
分类：
其他好文 时间：
2016-01-16 21:04:40
阅读次数：
316
Storm系统的数据处理应用单元，是被打包的被称为Topology的作业。 它是由多个数据处理阶段组合而成的，而每个处理阶段在构造时被称为组件(Component),在运行时被称为任务。那么，组件根据作用的不同，在Storm中分为两类:Spout组件和Bolt组件。而Topology就是这两类组件通...
分类：
其他好文 时间：
2016-01-10 22:33:04
阅读次数：
194
1、事务-批处理对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个tuple是否发送成功，进而spout可以重发该tuple ，保证一个tuple在k\出错的情况下至少被重发一次。但是在需要精确统计tuple的数量如销售金额场景时，希望每个tuple”被且仅被处理一...
分类：
其他好文 时间：
2015-12-26 13:15:32
阅读次数：
331
SPOUT:package base;import java.util.Map;import java.util.Queue;import java.util.Random;import java.util.concurrent.ConcurrentLinkedQueue;import backty...
分类：
Web程序 时间：
2015-12-26 01:16:15
阅读次数：
245
spout：package com.storm.WordCount;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.to...
分类：
其他好文 时间：
2015-12-25 13:39:04
阅读次数：
247
