最近在做一个监控系统，用来监控网站上各个业务功能的调用量以及处理时间，以便及时发现问题，及时处理。做这种实时统计处理系统，自然首先想到了storm，于是现学现用，自然遇到了一些坑，而且不少是网上也难以找到的问题。在这里就做个记录，记录下这个最让我苦恼的错误。 首先我的业务逻辑是按分钟统计一分钟...
分类：
其他好文 时间：
2015-04-25 18:15:08
阅读次数：
132
spark stream和storm之间的争论源远流长。。http://xinhstechblog.blogspot.com/2014/06/storm-vs-spark-streaming-side-by-side.htmlhttp://www.slideshare.net/ptgoetz/apa...
分类：
其他好文 时间：
2015-04-20 16:39:24
阅读次数：
198
提交示例代码： 1 public static void main(String[] args) throws Exception { 2 TopologyBuilder builder = new TopologyBuilder(); 3 builder.setSpout("random", ne...
分类：
其他好文 时间：
2015-04-19 22:45:34
阅读次数：
1579
1.pom.xml中依赖如下：<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.6.1</version>
</dependency>2.jedispool中ping的产生线上storm的bolt使用jedispool操作redis，高峰时压力..
分类：
其他好文 时间：
2015-04-19 19:41:01
阅读次数：
254
最近一直在跟进storm的问题，从storm集群的稳定性到监控到升级到bolt写redis的问题,因为公司目前没有专业运维redis的，只能我们数据部门自己搞了。。下面记录下遇到的几个问题:总结下目前storm写redis问题:1.redis高峰写入异常，增加redis监控，发现cpu性能瓶颈(redis单线程，..
分类：
其他好文 时间：
2015-04-19 19:40:58
阅读次数：
153
对于Storm，它有一个很重要的特性：“Guarantee no data loss” ——可靠性很显然，要做到这个特性，必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。先概括下acker所参与的工作流程：Spout创建一个新的Tuple时，会发一个消息通知ac...
分类：
其他好文 时间：
2015-04-19 10:05:25
阅读次数：
226
一、简介 Storm 可以保证 spout 发出的每条消息都能被“完全处理” ，这也是直接区别于其他实时系统的地方，如 S4。 请注意，spout 发出的消息后续可能会触发产生成千上万条消息 ，可以形象的理解为一棵消息树， 其中 spout 发出的消息为树根， Storm会跟踪这棵消息树的处理情.....
分类：
其他好文 时间：
2015-04-18 19:11:39
阅读次数：
136
一、简介 如果在消息处理过程中出了一些异常，Storm 会重新安排这个出问题的 topology。Storm 保证一个 topology 永远运行（除非你显式杀掉这个 topology） 。 当然，如果 topology 中存储了中间状态，那么当 topology 重新被 Storm 启动的时候.....
分类：
其他好文 时间：
2015-04-18 19:07:10
阅读次数：
98
在创建Storm的Topology时，我们通常使用如下代码：builder.setBolt("cpp", new CppBolt(), 3).setNumTasks(5).noneGrouping(pre_name);Config conf = new Config();conf.setNumWor...
分类：
其他好文 时间：
2015-04-18 18:58:05
阅读次数：
128
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
分类：
其他好文 时间：
2015-04-17 07:05:30
阅读次数：
152
