Storm集群部署用到的软件 apache-storm-0.9.3.tar.gz dk-6u45-linux-i586.bin jzmq-master.zip zeromq-2.1.7.tar.gz zookeeper-3.4.5.tar.gz安装需要的依赖库 在32位CentOS上需要如下rpm包...
分类：
其他好文 时间：
2015-03-05 19:12:49
阅读次数：
193
在这里，将会提到storm的七种grouping策略，并且编码逐一实现。 首先，需要一个集群（希望尽量模仿真实环境，故就不用本地模式了）。详细的安装方法大家可以查看本人的另外一篇博文：storm集群和zookeeper集群的部署过程。 OK。现在有三个节点。一个作为nimbus，两个作...
分类：
其他好文 时间：
2015-02-24 23:20:45
阅读次数：
280
一、Storm中执行的组件 我们知道，Storm的强大之处就是能够非常easy地在集群中横向拓展它的计算能力，它会把整个运算过程切割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是执行在集群中的一个Spout或Bolt实例。 为了方便理解Storm怎样并行处理我们分给.....
分类：
其他好文 时间：
2015-02-23 09:36:35
阅读次数：
161
本次实验的环境为VM station 10 安装三个虚拟机，系统为centOS6.5。IP分别如下图。如下图，三个虚拟机均安装了Java1.7以及配置好了hosts文件。接着是下载zookeeper-3.4.6（这里推荐使用此版本），进入conf目录下，将zoo_sample.cfg复制成zoo.c...
分类：
其他好文 时间：
2015-02-02 21:17:24
阅读次数：
191
从Storm看集群管理
简介
Storm是当前最流行的分布式实时计算平台，使用场景是根据Storm定义的接口规范编写一个实时处理流，然后提交到Storm平台处理，Storm平台解析该处理流，使其并行、分布式地在集群中运行，并附带相应的状态监控。本文主要描述Storm的集群管理这块的内容，处理流的相关接口逻辑规范不作涉及。
Storm集群监控管理的目标是管理和监控用户提交的...
分类：
其他好文 时间：
2015-01-31 18:02:37
阅读次数：
666
首先安装zookeeper集群，然后安装storm集群。 我使用的是centos 32bit的三台虚拟机.
MachineNameipnamenode192.168.99.110datanode01192.168.99.111datanode02192.168.99.112首先配置好ssh,可以无密...
分类：
其他好文 时间：
2015-01-25 19:35:06
阅读次数：
219
Storm集群升级Python库遇到的一个与yum相关的问题...
分类：
编程语言 时间：
2015-01-15 13:00:13
阅读次数：
155
Apache storm 是一个由twitter开源的大数据处理系统，与其他系统不同的是，storm旨在用于分布式实时处理并且与语言无关。笔者所认知的storm使用场景诸 如 实时日志分析、网站用户行为实时分析、实时计算等，目前很多公司也都把storm作为自己的大数据架构的一部分，来实现一些实时业务...
分类：
Web程序 时间：
2015-01-14 14:10:42
阅读次数：
207
如要监控Storm集群和运行在其上的Topology，该如何做呢？
Storm已经为你考虑到了，Storm支持Thrift的C/S架构，在部署Nimbus组件的机器上启动一个Thrift Server进程来提供服务，我们可以通过编写一个Thrift Client来请求Thrift Server，来获取你想得到的集群和Topology的相关数据，来接入监控平台，如Zabbix等，我目前使用的就...
1、是什么构成一个可运行的topology? worker processes（worker进程），executors（线程）和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程，一个worker进程运行一个特定topology的executors。 一个worker...
分类：
其他好文 时间：
2015-01-06 15:27:01
阅读次数：
153
