【原】storm源码之一个class解决nimbus单点问题一、storm nimbus 单节点问题概述1、storm集群在生产环境部署之后，通常会是如下的结构： 从图中可以看出zookeeper和supervisor都是多节点，任意1个zookeeper节点宕...
分类：
其他好文 时间：
2015-03-28 22:59:02
阅读次数：
181
机房断电，所有服务器的重启了，在重新启动storm，nimbus和ui都成功启动了，supervisor总是启动失败，报什么EOF的错误，百度了很久，说在conf/storm.yaml文件中，删除配置的storm.local.dir目录下的所有文件，我认为nimbus和ui都启动成功，就只删除了supervisor的文件夹，结果..
分类：
其他好文 时间：
2015-03-19 16:31:48
阅读次数：
2886
1. Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态和监...
分类：
其他好文 时间：
2015-03-12 19:06:50
阅读次数：
171
在这里，将会提到storm的七种grouping策略，并且编码逐一实现。 首先，需要一个集群（希望尽量模仿真实环境，故就不用本地模式了）。详细的安装方法大家可以查看本人的另外一篇博文：storm集群和zookeeper集群的部署过程。 OK。现在有三个节点。一个作为nimbus，两个作...
分类：
其他好文 时间：
2015-02-24 23:20:45
阅读次数：
280
本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节：当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性，以及Nimbus是否存在单点故障问题。...
分类：
其他好文 时间：
2015-02-17 17:40:45
阅读次数：
128
如要监控Storm集群和运行在其上的Topology，该如何做呢？
Storm已经为你考虑到了，Storm支持Thrift的C/S架构，在部署Nimbus组件的机器上启动一个Thrift Server进程来提供服务，我们可以通过编写一个Thrift Client来请求Thrift Server，来获取你想得到的集群和Topology的相关数据，来接入监控平台，如Zabbix等，我目前使用的就...
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
本文介绍Storm容错的设计细节。1、当一个worker进程死了会发生什么？ 当worker死了，supervisor会重启它。如果它尝试开启多次失败并且不能与nimbus发送心跳，Nimbus会重新设计worker到另外一台机器上。2、一个结点死了会发生什么？ 分派到这台机器上的任务将会超时并.....
分类：
其他好文 时间：
2015-01-06 17:13:18
阅读次数：
117
1.启动nimbus nohup ./storm nimbus & 2.启动supervisor nohup ./storm supervisor & 3.启动ui nohup ./storm ui & 4.启动log nohup ./storm log & 5.上传topo storm/storm-0.9.0.1/bin/storm jar storm_topo.jar...
分类：
其他好文 时间：
2015-01-06 12:14:08
阅读次数：
370
There are two kinds of nodes on a Storm cluster: the master node and the worker nodes.有两种节点，主节点和worker节点主节点，Nimbus：Nimbus is responsible for distribut...
分类：
其他好文 时间：
2014-12-22 11:04:29
阅读次数：
140
