jstorm在使用kafka作为spout的时候，高并发的情况下会出现多线程报错问题 ...
分类：
编程语言 时间：
2017-08-06 12:46:32
阅读次数：
177
消息通过各种方式进入到Kafka消息中间件，比如可以通过使用Flume来收集日志数据，然后在Kafka中路由暂存，然后再由实时计算程序Storm做实时分析，最后将结果保存在HDFS中，这时我们就需要将在Storm的Spout中读取Kafka中的消息，然后交由具体的Spot组件去分析处理。下面开发一个 ...
分类：
其他好文 时间：
2017-07-31 19:52:51
阅读次数：
1616
本文主要是解析SpoutOutputCollector源码，顺便分析该类中所涉及的设计模式–代理模式。 首先介绍一下Spout输出收集器接口–ISpoutOutputCollector,该接口主要声明了以下3个抽象方法用来约束ISpoutOutputCollector的实现类。接口定义与方法说明如下 ...
分类：
Web程序 时间：
2017-07-31 10:03:02
阅读次数：
249
Storm的数据从Spout采集后，交给Blot组件处理，数据在Blot之间流动时，会涉及到数据流动的方向。这就是Storm的分组策略。 从WordCount的单词拆分到单词计数，会使用按字段的分组策略来拆分单词，并分配到不同的Count Blot中计算。 ...
分类：
其他好文 时间：
2017-07-22 00:05:30
阅读次数：
197
由之前的学习，Storm的程序构成有Topology，Spout、Blot组成。 构建工程第一步 ：引入jar，把storm集群中的/usr/local/apps/apache-storm-1.0.3/lib目录jar包全部引入 ...
分类：
其他好文 时间：
2017-07-22 00:05:05
阅读次数：
208
1、ack是什么 ack 机制是storm整个技术体系中非常闪亮的一个创新点。 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所 ...
分类：
其他好文 时间：
2017-07-17 23:48:59
阅读次数：
261
2017-07-05 13:09:15.460 [kafka_spout:7-MultipleThreadSpoutExecutors] WARN o.a.kafka.common.utils.AppInfoParser - Error registering AppInfo mbean javax ...
分类：
其他好文 时间：
2017-07-05 15:14:20
阅读次数：
15133
消息确认机制： 在数据发送的过程中可能会数据丢失导致没能接收到，spout有个超时时间（默认是30S），如果30S过去了还是没有接收到数据，也认为是处理失败。 运行结果都是处理成功 参考代码StormTopologyAcker.java ...
分类：
其他好文 时间：
2017-06-08 23:50:46
阅读次数：
971
JStorm中的并行（ parallelismction ）介绍 JStrom中。一个计算任务通过多台机器使得计算分解为多个独立并行执行在集群内执行的任务（tasks）。从而得到水平扩展。JStorm中，一个任务（task）就是一个能够执行在集群内不论什么节点的一个spout或一个bolt实例。 要 ...
分类：
Web程序 时间：
2017-05-28 17:26:21
阅读次数：
870
目的： 通过Spout发射kafka的数据，到bolt统计每一个单词的个数，将这些记录更新到mongodb中。 Spout的nextTuple方法会一直处于一个while循环这中，每一条数据发送给bolt后，bolt都会调用一次execute方法。 spout用于发射数据，bolt用于对数据进行处理 ...
分类：
数据库 时间：
2017-05-23 15:46:52
阅读次数：
242
