Storm保证每跳离开spout的消息都会被完全处理。本文介绍Storm是怎么保证每条消息都被完全处理并且作为用户该怎么做才能从Storm的可靠性保证受益。1、什么叫消息被完全处理？ 一个tuple从spout出发可以触发成千上万个tuples基于它。 一个tuple被认为处理失败了，如果它的消.....
分类：
其他好文 时间：
2015-01-06 17:19:16
阅读次数：
117
本文介绍Storm容错的设计细节。1、当一个worker进程死了会发生什么？ 当worker死了，supervisor会重启它。如果它尝试开启多次失败并且不能与nimbus发送心跳，Nimbus会重新设计worker到另外一台机器上。2、一个结点死了会发生什么？ 分派到这台机器上的任务将会超时并.....
分类：
其他好文 时间：
2015-01-06 17:13:18
阅读次数：
117
1、是什么构成一个可运行的topology? worker processes（worker进程），executors（线程）和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程，一个worker进程运行一个特定topology的executors。 一个worker...
分类：
其他好文 时间：
2015-01-06 15:27:01
阅读次数：
153
1.启动nimbus nohup ./storm nimbus & 2.启动supervisor nohup ./storm supervisor & 3.启动ui nohup ./storm ui & 4.启动log nohup ./storm log & 5.上传topo storm/storm-0.9.0.1/bin/storm jar storm_topo.jar...
分类：
其他好文 时间：
2015-01-06 12:14:08
阅读次数：
370
storm运行异常之No output fields defined for component:stream XxxBolt:null的可能原因...
分类：
其他好文 时间：
2015-01-05 18:45:02
阅读次数：
200
如何在分布式集群中，充分利用多节点，对大数据进行拆分，实现并行计算，“parallel computing by kafka-storm ” 提供了一种很好的思路。...
分类：
其他好文 时间：
2014-12-29 23:03:01
阅读次数：
208
1 应用背景： 需要实时统计用户的登陆数，在线人数，活跃时间，下载等指标的数据，或者清洗后移到hdfs上。
2 设计架构：
1） 客户端产生数据---
2） kafka-生产者实时采集数据（保留7天）-----
3） storm实时消费数据，处理数据
4）把实时数据统计结果缓存到memcached 中...
分类：
其他好文 时间：
2014-12-29 23:01:45
阅读次数：
235
Qgs开发-拓扑分析
sf2gis@163.com
2014年10月22日
1 概述
拓扑分析一般是指地理元素之间的相关关系。一般是以基本的空间关系为基础，进行综合运算，计算元素之间的复杂关系，如空洞检查、重叠检查等。
参考：http://en.wikipedia.org/wiki/Geospatial_topology
http://en.wikipedia.org/wiki/...
分类：
其他好文 时间：
2014-12-29 12:12:00
阅读次数：
487
简单介绍了storm现有的调度算法，以及一些其他公司或研究组织对其的改进...
分类：
编程语言 时间：
2014-12-28 00:32:11
阅读次数：
238
作为storm的使用者，有两件事情要做以更好的利用storm的可靠性特征。 首先，在你生成一个新的tuple的时候要通知storm; 其次，完成处理一个tuple之后要通知storm。 这样storm就可以检测整个tuple树有没有完成处理...
分类：
其他好文 时间：
2014-12-25 16:37:15
阅读次数：
188
