一、问题背景 Python 写的脚本，不断从txt文件中读取一行数据封装成消息，作为producer发给kafka, storm的spout从kafka中读取这些消息后做一些处理发送给bolt,bolt最后将数据按既定的格式写入到HBASE 二、问题描述 一共14000条左右的数据，加调试信息观察到 ...
分类：
编程语言 时间：
2016-07-05 17:05:01
阅读次数：
1853
缘起事情源于在看基于Storm的CEP引擎：flowmix
的FlowmixBuilder代码，
每个Bolt设置了这么多的Group，
而且declareStream也声明了这么多的stream-id，
对于只写过WordCountTopology的小白而言，
直接懵逼了，没见过这么用的啊，我承认一开始是拒绝的，每个Bolt都设置了这么多Group，这TMD拓扑图是什么样的？ pu...
分类：
其他好文 时间：
2016-07-03 19:52:43
阅读次数：
326
简单的输入输出做完了，来点复杂点儿的场景：从某个topic定于消息，然后根据空格分词，统计单词数量，然后将当前输入的单词数量推送到另一个topic。首先规划需要用到的类：从KafkaSpout接收数据并进行处理的backtype.storm.spout.Scheme子类；数据切分bolt：SplitSentenceBolt..
分类：
其他好文 时间：
2016-06-23 19:01:57
阅读次数：
629
Storm是一个分布式的、高容错的实时计算系统。
Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。
Storm适用的场景：
1、流数据处理：Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久化...
分类：
其他好文 时间：
2016-06-21 08:03:42
阅读次数：
161
Storm利用Acker Bolt节点跟踪消息，当Spout发送出去的消息以及这些消息所衍生出来的消息均被处理后，Spout将受到对应于该消息的Ack。实现要点： 1、Storm中每条发送出去的消息都会对应一个随机的消息ID。 2、Spout发送消息后，将向Acker Bolt发送一条消息，该消息内 ...
分类：
其他好文 时间：
2016-06-05 21:23:29
阅读次数：
235
在storm环境部署完毕，并正确启动之后，现在就可以真正进入storm开发了，按照惯例，以wordcount作为开始。这个例子很简单，核心组件包括：一个spout，两个bolt，一个Topology。spout从一个路径读取文件，然后readLine，向bolt发射，一个文件处理完毕后，重命名，以不 ...
分类：
其他好文 时间：
2016-06-02 22:03:20
阅读次数：
625
程序启动报错：backtype.storm.generated.InvalidTopologyException:null 问题解决方法： 这个错误一般都是没有定义输出列造成的 检查Spout和Bolt代码中的declareOutputFields方法declare的Field数量 等于 colle ...
分类：
其他好文 时间：
2016-06-02 19:51:03
阅读次数：
2275
Bolt是Topology中数据处理的基本单元，也是Storm针对处理过程的编程单元。Topology中所有的处理都是在这些bolt中完成的。 Bolt可以将数据项发送至多个数据流（Stream)。编程人员首先可以使用OutputFieldsDeclarer类的declareStream()方法声明 ...
分类：
其他好文 时间：
2016-05-14 06:38:48
阅读次数：
181
前言
业务的日志ETL拉取框架一直存在很多问题，每次出现故障就导致手忙大乱，因此这次决心要对其进行大改造。这个ETL系统是基于Storm实现的，主要是依靠Spout拉取原始日志，Bolt进行处理再入库，为了提高吞吐量，采用了12个Bolt进行并行处理。旧算法由于没有使用Storm的ack特性，而且还是根据发送Tuple的hash值发送到对应的Bolt中，完全没有考虑好负载均衡问题...
分类：
编程语言 时间：
2016-05-13 03:16:34
阅读次数：
1184
Topology的代码如下：TopologyBuilder builder = new TopologyBuilder();
//WordReaderSpout会从文件中读取数据，数据用shuffle的方式发送给bolt进行处理
//当文件读取完成后，会发送一个global消息
builder.setSpout("word-reader",new WordReaderSpout());
builde...
分类：
其他好文 时间：
2016-05-12 21:33:54
阅读次数：
2430
