1.topology 一个topolgy是spouts和bolts组成的图，通过stream groupings将图中的spout和bolts连接起来：如图所示： 一个topology会一直运行知道你手动kill掉，Storm自动重新分配执行失败的任务，并且Storm可以保证你不会有数据丢失（如果开 ...
分类：
其他好文 时间：
2017-03-09 16:55:11
阅读次数：
207
storm stream计算.实时性。 master/slavenimbus //mastersupervisor //work node //zk spout //龙头,源源不断产生数据 nextTuple() bolt //接头. tuple //List<> storm.yaml zkserv ...
分类：
其他好文 时间：
2017-02-10 21:56:52
阅读次数：
327
Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Storm集群表面类似Hadoop集群。但在Hadoop上你运行的是”MapReduce jobs”，在Storm上你运行的是”topologies”。”Jobs”和”topologies”是大不同的， ...
分类：
其他好文 时间：
2017-01-10 12:03:27
阅读次数：
200
转载请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/6142356.html Storm 的拓扑有一些特殊的称为“acker”的任务，这些任务负责跟踪每个 Spout 发出的 tuple 的 DAG。开启storm tracker机制的前提有三个： 1. ...
分类：
其他好文 时间：
2016-12-07 20:24:17
阅读次数：
234
ApacheStorm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（masternode）分发代码，将任务分配给工作节点（workernode）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数..
分类：
其他好文 时间：
2016-11-21 20:38:07
阅读次数：
262
转发请注明原文地址：http://www.cnblogs.com/dongxiao-yang/p/6031398.html 最近协助同事优化一个并发消费kafka数据用来计算的任务，压测过程中发现有两个spout对应的topic消费速度明显低于其他topic的指标，每个spout分配10个并发消费速 ...
分类：
其他好文 时间：
2016-11-04 20:51:09
阅读次数：
549
以单词分割计数为例实现Storm的DirectGroup分组： 1、Spout实现 Spout是Storm数据源头，使用DirectGroup方式将Spout数据发送指定的Bolt，需注意： 1)、Spout消费的Bolt的Task(Task应为Storm的Executor的编号)，在如下代码中Sp ...
分类：
其他好文 时间：
2016-10-29 22:19:15
阅读次数：
478
正在学习storm的大兄弟们，我又来传道授业解惑了，是不是觉得自己会用ack了。好吧，那就让我开始啪啪打你们脸吧。 先说一下ACK机制： 为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。 这里面涉及到ack/fail的处理，如果一个tuple处理成功是指 ...
分类：
其他好文 时间：
2016-10-28 20:27:58
阅读次数：
224
一、Strom基本知识（回顾） 1，首先明确Storm各个组件的作用，包括Nimbus,Supervisor,Spout,Bolt,Task,Worker,Tuple nimbus是整个storm任务的管理者，并不实际进行工作。负责在集群中分发代码，对节点分配任务，并监视主机故障。 supervis ...
分类：
Web程序 时间：
2016-10-19 02:14:46
阅读次数：
356
在Strom/JStorm中有一个类是特别重要的，主要用来构建Topology的，这个类就是TopologyBuilder. 咱先看一下简单的例子: 在上面的main方法里先创建TopologyBuilder对象,然后设置好已创建的Spout节点和Bolt节点，并用随机分组(shuffleGroup ...
分类：
Web程序 时间：
2016-10-16 18:53:02
阅读次数：
275
