1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账...
分类：
其他好文 时间：
2015-08-04 00:18:24
阅读次数：
134
Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。Transactional Topo...
分类：
其他好文 时间：
2015-08-04 00:18:06
阅读次数：
163
本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。3.1 Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应...
分类：
其他好文 时间：
2015-08-04 00:17:27
阅读次数：
131
2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上...
分类：
其他好文 时间：
2015-08-04 00:16:30
阅读次数：
204
4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被...
分类：
其他好文 时间：
2015-08-04 00:07:33
阅读次数：
139
Spout数据源：Messagequeue消息队列 必须使用MQ、Db、文件直接流数据源：MQ从db只能读配置文件Log文件增量数据：1、读出内容写入MQ，2、Storm处理Spout读文件：学习用，其他无用读文件：1、分布式应用无法读；2、spout开并发会重复读Stream grouping策略...
分类：
其他好文 时间：
2015-08-03 18:40:20
阅读次数：
214
注意：下面目录结构里面， nimbus机器上面只有/nimbus目录，supervisor机器上面只有/supervisor目录和/workers目录。 /{storm-local-dir}
??|
??|-/nimbus
??|???|
??|???|-/inbox????????...
分类：
其他好文 时间：
2015-08-03 17:04:20
阅读次数：
199
tail的特性Tail适合文本源不仅读取数据源，而且监听 一旦有变化，会把增量数据读取类似与tomcat的日志输出如果是Message Queue源的话，该特性没必要。Storm-starter官方提供的例子包最好的学习资料https://github.com/nathanmarz/storm-st...
分类：
系统相关 时间：
2015-08-03 12:58:42
阅读次数：
193
和LeetCode 207. Course Schedule(拓扑排序-求有向图中是否存在环)类似。
注意到，在for (auto p: prerequistites)中特判了输入中可能出现的平行边或自环。
代码：
class Solution
{
public:
vector findOrder(int numCourses, vector>& prerequis...
分类：
编程语言 时间：
2015-08-03 01:12:08
阅读次数：
190
安装Storm步骤：A、搭建ZooKeeper集群B、安装storm依赖的软件C、安装及配置Storm1、搭建ZooKeeper集群2、安装storm依赖的软件 ZeroMQ2.1.7是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。 JZMQ底层消息队列 Java 6 Python.....
分类：
其他好文 时间：
2015-08-03 01:09:28
阅读次数：
287
