最近一直在跟进storm的问题，从storm集群的稳定性到监控到升级到bolt写redis的问题,因为公司目前没有专业运维redis的，只能我们数据部门自己搞了。。下面记录下遇到的几个问题:总结下目前storm写redis问题:1.redis高峰写入异常，增加redis监控，发现cpu性能瓶颈(redis单线程，..
分类：
其他好文 时间：
2015-04-19 19:40:58
阅读次数：
153
ODI Studio拓扑结构的创建与配置(Oracle)和ODI Studio拓扑结构的创建与配置(MySQL)一样，只不过由Mysql变成了Oracle，考虑到ODI关于Oracle的知识模块比较多。一、概念解释Topology Manager主要用来管理下面5类任务，并将信息存储在主资料库中，供...
分类：
数据库 时间：
2015-04-19 14:36:30
阅读次数：
232
对于Storm，它有一个很重要的特性：“Guarantee no data loss” ——可靠性很显然，要做到这个特性，必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。先概括下acker所参与的工作流程：Spout创建一个新的Tuple时，会发一个消息通知ac...
分类：
其他好文 时间：
2015-04-19 10:05:25
阅读次数：
226
一、简介 Storm 可以保证 spout 发出的每条消息都能被“完全处理” ，这也是直接区别于其他实时系统的地方，如 S4。 请注意，spout 发出的消息后续可能会触发产生成千上万条消息 ，可以形象的理解为一棵消息树， 其中 spout 发出的消息为树根， Storm会跟踪这棵消息树的处理情.....
分类：
其他好文 时间：
2015-04-18 19:11:39
阅读次数：
136
一、简介 如果在消息处理过程中出了一些异常，Storm 会重新安排这个出问题的 topology。Storm 保证一个 topology 永远运行（除非你显式杀掉这个 topology） 。 当然，如果 topology 中存储了中间状态，那么当 topology 重新被 Storm 启动的时候.....
分类：
其他好文 时间：
2015-04-18 19:07:10
阅读次数：
98
在创建Storm的Topology时，我们通常使用如下代码：builder.setBolt("cpp", new CppBolt(), 3).setNumTasks(5).noneGrouping(pre_name);Config conf = new Config();conf.setNumWor...
分类：
其他好文 时间：
2015-04-18 18:58:05
阅读次数：
128
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
分类：
其他好文 时间：
2015-04-17 07:05:30
阅读次数：
152
流的合并操作，是指根据两个流的关联条件将两个流合并成一个流，然后在进行后面的处理操作，如果使用Spout和Bolt这种编程模型的话写起来会比较困难和繁琐，因为要设置缓冲区来保存第一次过来的数据，后续还要进行两者的比较，使用Trident应用起来比较方便，对原来的编程模型进行了一定的抽象。代码实例：
需求：
两个spout： spout1:里面的数据是 nam...
分类：
其他好文 时间：
2015-04-16 19:57:03
阅读次数：
212
storm的topology启动过程是执行strom jar topology1.jar MAINCLASS ARG1 ARG2鉴于前面已经分析了脚本的解析过程，现在重点分析topology1.jar的执行。以storm-starter中的ExclamationTopology为例，来进行剖析：pu...
分类：
其他好文 时间：
2015-04-16 19:46:05
阅读次数：
239
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:53:54
阅读次数：
174
