1 Topology构成 和同样是计算框架的Mapreduce相比，Mapreduce集群上运行的是Job，而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束，Topology却只能被手动的kill掉，否则会一直运行下去。 Storm集群中有两种节点，一种是控制节点(Ni...
分类：
其他好文 时间：
2014-12-18 11:56:38
阅读次数：
180
storm集群部署：运行环境：CentOSrelease6.3(Final)搭建Zookeeper集群；安装Storm依赖库；下载并解压Storm发布版本；修改storm.yaml配置文件；启动Storm各个后台进程。ip主机名主控节点：192.168.1.147zoo1工作节点1：192.168.1.142zoo2工作节点2：192.168.1.143zoo3Zookeeper..
分类：
其他好文 时间：
2014-12-16 19:28:28
阅读次数：
231
先整体介绍一下搭建storm集群的步骤：
设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worker节点配置storm.yaml启动相关后台进程
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递，因此storm不会给zo...
分类：
其他好文 时间：
2014-12-05 17:26:26
阅读次数：
206
源地址：http://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html
本文叙述了storm集群搭建和运行步骤。如果你打算在AWS上进行的话，可以使用storm-deploy项目。storm-deploy在EC2上完全自动进行下载、配置、以及storm集群的安装等步骤。它也为你配置了Ganglia，用以监控CPU、...
分类：
其他好文 时间：
2014-12-03 00:34:03
阅读次数：
190
1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自：https://git...
分类：
其他好文 时间：
2014-11-18 13:09:04
阅读次数：
216
一、Storm中运行的组件
我们知道，Storm的强大之处就是可以很容易地在集群中横向拓展它的计算能力，它会把整个运算过程分割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是运行在集群中的一个Spout或Bolt实例。
为了方便理解Storm如何并行处理我们分给它的任务,这里我先介绍一下在集群中涉及到Topology的四种组件：
...
分类：
其他好文 时间：
2014-11-13 16:35:06
阅读次数：
266
目录[-]1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自：https:...
分类：
其他好文 时间：
2014-11-13 12:27:27
阅读次数：
371
storm与kafka单机功能整合很顺利，但是到了storm集群环境和数据处理性能时则出现了一些问题，现将测试过程和问题简单记录如下： ? ? 性能指标：每分钟处理至少100万的信息（csv格式，100bytes左右），信息...
分类：
其他好文 时间：
2014-09-26 12:59:39
阅读次数：
228
supervisor是storm集群重要组成部分，supervisor主要负责管理各个"工作节点"。supervisor与zookeeper进行通信，通过zookeeper的"watch机制"可以感知到是否有新的任务需要认领或哪些任务被重新分配。我们可以通用执行bin/storm superviso...
分类：
其他好文 时间：
2014-09-24 23:03:27
阅读次数：
383
