最近在做一个监控系统，用来监控网站上各个业务功能的调用量以及处理时间，以便及时发现问题，及时处理。做这种实时统计处理系统，自然首先想到了storm，于是现学现用，自然遇到了一些坑，而且不少是网上也难以找到的问题。在这里就做个记录，记录下这个最让我苦恼的错误。 首先我的业务逻辑是按分钟统计一分钟...
分类：
其他好文 时间：
2015-04-25 18:15:08
阅读次数：
132
spark stream和storm之间的争论源远流长。。http://xinhstechblog.blogspot.com/2014/06/storm-vs-spark-streaming-side-by-side.htmlhttp://www.slideshare.net/ptgoetz/apa...
分类：
其他好文 时间：
2015-04-20 16:39:24
阅读次数：
198
使用Webkit核心的浏览器不管对于开发者还是一般用户都可以说是一个相当优秀的网页引擎，但是在开发中，让人感觉很多余的一个特性就是，在表单项中的控件聚焦时总会出现一个黄色边框（360急速模式是webkit的内核，兼容模式是ie的内核及Trident的内核），特别是input[text]和texta....
分类：
Web程序 时间：
2015-04-20 13:01:31
阅读次数：
173
提交示例代码： 1 public static void main(String[] args) throws Exception { 2 TopologyBuilder builder = new TopologyBuilder(); 3 builder.setSpout("random", ne...
分类：
其他好文 时间：
2015-04-19 22:45:34
阅读次数：
1579
1.pom.xml中依赖如下：<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.6.1</version>
</dependency>2.jedispool中ping的产生线上storm的bolt使用jedispool操作redis，高峰时压力..
分类：
其他好文 时间：
2015-04-19 19:41:01
阅读次数：
254
最近一直在跟进storm的问题，从storm集群的稳定性到监控到升级到bolt写redis的问题,因为公司目前没有专业运维redis的，只能我们数据部门自己搞了。。下面记录下遇到的几个问题:总结下目前storm写redis问题:1.redis高峰写入异常，增加redis监控，发现cpu性能瓶颈(redis单线程，..
分类：
其他好文 时间：
2015-04-19 19:40:58
阅读次数：
153
对于Storm，它有一个很重要的特性：“Guarantee no data loss” ——可靠性很显然，要做到这个特性，必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。先概括下acker所参与的工作流程：Spout创建一个新的Tuple时，会发一个消息通知ac...
分类：
其他好文 时间：
2015-04-19 10:05:25
阅读次数：
226
一、简介 Storm 可以保证 spout 发出的每条消息都能被“完全处理” ，这也是直接区别于其他实时系统的地方，如 S4。 请注意，spout 发出的消息后续可能会触发产生成千上万条消息 ，可以形象的理解为一棵消息树， 其中 spout 发出的消息为树根， Storm会跟踪这棵消息树的处理情.....
分类：
其他好文 时间：
2015-04-18 19:11:39
阅读次数：
136
一、简介 如果在消息处理过程中出了一些异常，Storm 会重新安排这个出问题的 topology。Storm 保证一个 topology 永远运行（除非你显式杀掉这个 topology） 。 当然，如果 topology 中存储了中间状态，那么当 topology 重新被 Storm 启动的时候.....
分类：
其他好文 时间：
2015-04-18 19:07:10
阅读次数：
98
在创建Storm的Topology时，我们通常使用如下代码：builder.setBolt("cpp", new CppBolt(), 3).setNumTasks(5).noneGrouping(pre_name);Config conf = new Config();conf.setNumWor...
分类：
其他好文 时间：
2015-04-18 18:58:05
阅读次数：
128
