http://storm.apache.org/releases/1.0.1/Lifecycle-of-a-topology.html http://storm.apache.org/releases/1.0.1/Lifecycle-of-a-topology.html STORM拓扑的生命周期 本 ...
分类：
其他好文 时间：
2016-06-03 14:15:15
阅读次数：
140
在storm环境部署完毕，并正确启动之后，现在就可以真正进入storm开发了，按照惯例，以wordcount作为开始。这个例子很简单，核心组件包括：一个spout，两个bolt，一个Topology。spout从一个路径读取文件，然后readLine，向bolt发射，一个文件处理完毕后，重命名，以不 ...
分类：
其他好文 时间：
2016-06-02 22:03:20
阅读次数：
625
配置好storm之后就可以开始在eclipse里面写topology了。 下面是我在网上搜到的一个简单的例子，我按照自己的理解注释了一下。 第一步，创建mvn工程 这是pom.xml文件 1 <project xmlns="http://maven.apache.org/POM/4.0.0" xml ...
分类：
其他好文 时间：
2016-06-01 19:37:38
阅读次数：
376
Strom并发模型： topology是如何运行的？（可与mapreduce对比） 第一层：cluster 第二层：supervisor（host、node、机器） 第三层：worker（进程） 第四层：executor(线程) 第五层：task（线程的一个个对象、如Spout和Blot）//top... ...
分类：
其他好文 时间：
2016-05-18 23:44:39
阅读次数：
232
Bolt是Topology中数据处理的基本单元，也是Storm针对处理过程的编程单元。Topology中所有的处理都是在这些bolt中完成的。 Bolt可以将数据项发送至多个数据流（Stream)。编程人员首先可以使用OutputFieldsDeclarer类的declareStream()方法声明 ...
分类：
其他好文 时间：
2016-05-14 06:38:48
阅读次数：
181
Storm的通信机制，需要满足如下一些条件以满足Storm的语义。 1、建立数据传输的缓冲区。在通信连接没有建立之前把发送的数据缓存起来。数据发送方可以在连接建立之前发送消息，而不需要等连接建立起来，可是的接收方是独立运行的。 2、在消息传输层保证消息最多只能发送一次，Storm系统有ACK机制，是 ...
分类：
其他好文 时间：
2016-05-13 14:25:03
阅读次数：
1162
Twitter Storm中Topology的状态 状态转换如下,Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。 代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 Java代码 (d ...
分类：
其他好文 时间：
2016-05-04 01:15:59
阅读次数：
173
Storm集群安装详解 Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式。 本地模式：你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 远端模式：你提交的topology会在一个集群的机器上执行。 本文以Twitter Storm官方Wik ...
分类：
其他好文 时间：
2016-04-30 12:59:10
阅读次数：
311
近期公司有个需求。须要在后端应用server上实时获取STORM集群的执行信息和topology相关的提交和控制，经过几天对STORM UI和CMD源代码的分析，得出能够通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift能够參见这个地方。安装完毕后，从S ...
分类：
编程语言 时间：
2016-04-23 18:13:03
阅读次数：
214
最初的错误：DynamicBrokersReader[ERROR]Node/brokers/ids/0doesnotexist设置：BrokerHostsbrokerHosts=newZkHosts(zks,"/kafka/brokers");然后就是如下错误：2016-04-13T15:07:10.657+0800b.s.util[ERROR]Asyncloopdied!
java.lang.RuntimeException:java.lang.RuntimeExcept..
分类：
其他好文 时间：
2016-04-13 21:05:07
阅读次数：
1186
