Twitter Heron 论文笔记，简单介绍论文前半部分对storm局限性，从Storm worker、Nimbus以及资源分配这些来阐述目前Storm存在的问题。...
分类：
其他好文 时间：
2015-06-03 19:41:48
阅读次数：
147
I.准备apache-storm-0.9.3zookeeper-3.4.6II.结构一台server装nimbus和zookeeper，两台supervisor。III.配置ZooKeeper：#viconf/zoo.cfgclientPort=10205
server.0=nimbus:2888:3888#vi/var/zookeeper/myid<
与zoo.cfg中server.后面的数字一致，如nimbus机器改为0
>Storm..
分类：
Web程序 时间：
2015-05-28 14:16:15
阅读次数：
216
Nimbus: 负责资源分配和任务调度，把任务相关的元信息写入Zookeeper相应目录中。
Supervlsor: 负责接收Nimbus分配的任务，启动和停止属于自己管理的worker进程。
Worker: 运行具体处理组件逻辑的线程。
Executor: 运行Splout/bolt的线程。
Task： worker中每一个spout/bolt的线程称为一个task.
Topolo...
分类：
其他好文 时间：
2015-05-22 11:32:02
阅读次数：
184
在win7下安装MyEclipse10。安装完成之后运行注册机，总是提示classnotfond显示找不到com.sun.java.swing.plaf.nimbus.NimbusLookAndFeel这个包。查看了一下没有配置环境变量，并且JDK版本不太对，就换了个1.6.1的jdk-6u10-r...
分类：
编程语言 时间：
2015-05-15 01:09:08
阅读次数：
248
1 IDL 首先是storm.thrift, 作为IDL里面定义了用到的数据结构和service? 然后backtype.storm.generated, 存放从IDL通过Thrift自动转化成的Java代码 比如对于nimbus service? 在IDL的定义为, service Nimbus { ...
分类：
其他好文 时间：
2015-05-08 18:34:32
阅读次数：
180
Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己...
分类：
其他好文 时间：
2015-04-12 14:33:28
阅读次数：
3522
在Storm的集群里面有两种节点：控制节点和工作节点,控制节点上面运行Nimbus进程，Nimbus负责在集群里面分配计算任务，并且监控状态。每一个工作节点上面运行Supervisor进程,Supervisor负责监听从Nimbus分配给它执行的任务，Nimbus和Supervisor之间的所有协调...
分类：
其他好文 时间：
2015-04-09 15:03:31
阅读次数：
125
JStorm之Nimbus简介一、简介 JStorm集群包含两类节点：主控节点（Nimbus）和工作节点（Supervisor）。其分别对应的角色如下： 1. 主控节点（Nimbus）上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology，分发代码，分配任务给工.....
分类：
Web程序 时间：
2015-04-07 13:26:49
阅读次数：
250
徐明明博客：Twitter Storm源代码分析之ZooKeeper中的目录结构 我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task通过从zookeeper中读状态来领取任....
分类：
其他好文 时间：
2015-04-02 16:20:44
阅读次数：
178
本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节：当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性，以及Nimbus是否存在单点故障问题。当一个Worker挂了会怎样？When a worker dies, the superviso...
分类：
其他好文 时间：
2015-03-30 13:00:26
阅读次数：
172
