基础知识 Storm是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。你可 ...
storm集群搭建
比较简单，参考官方文档即可http://storm.apache.org/releases/1.0.2/Setting-up-a-Storm-cluster.html
启动Nimb...
分类：
其他好文 时间：
2016-09-08 11:24:56
阅读次数：
476
Storm是基于数据流的实时处理系统，提供了大吞吐量的实时计算能力。通过数据入口获取每条到来的数据，在一条数据到达系统的时候，立即会在内存中进行相应的计算；Storm适合要求实时性较高的数据分析场景。
Hadoop、Storm系统和组件接口对比表：
Storm框架：
· Nodes （服务器）：指配置在一个 Storm 集群中的服务器，会执行 topology 的一部...
分类：
其他好文 时间：
2016-07-10 18:38:10
阅读次数：
262
在storm集群中，我们常常使用zookeeper作为协调者。那么具体发挥的是什么作用呢？ 概括来说，zookeeper是nimbus和supervisor进行交互的中介。具体来说有二： 1、nimbus通过在zookeeper上写状态信息来分配任务。通俗的讲就是写哪些supervisor执行哪些t ...
分类：
其他好文 时间：
2016-07-05 15:33:14
阅读次数：
1199
安装环境： 虚拟操作系统：centOS7 64位 2台 IP地址为192.168.1.10 192.168.1.11 内存：1GB内存 zookeeper版本 ：3.4.6 Storm版本：0.9.6 安装步骤： 1、安装JDK等步骤省略。 1、下载storm安装包，解压。 1、配置/apache- ...
分类：
其他好文 时间：
2016-06-03 22:45:14
阅读次数：
274
在这个教程中, 你将学到如何创建一个Storm topologies以及怎样把它部署到storm集群上。本教程中，Java将作为主要使用的语言，但在一小部分示例中将会使用Python来阐述storm处理多语言的能力。
预备工作
本教程使用的例子来自于 storm-starter 项目. 我们建议你拷贝该项目并跟随这个例子。 请阅读 Setting
up a development...
分类：
其他好文 时间：
2016-06-02 14:37:57
阅读次数：
289
1、首先安装依赖包 2、安装 zeromq 下载：http://download.zeromq.org/zeromq-4.1.2.tar.gz 解压：tar xzf zeromq-4.1.2.tar.gz 编译安装： 3、安装 jzmq (先安装JDK） 安装git： 或 如果不安装git，则使用w ...
分类：
其他好文 时间：
2016-05-17 13:28:41
阅读次数：
119
Storm集群安装详解 Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式。 本地模式：你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 远端模式：你提交的topology会在一个集群的机器上执行。 本文以Twitter Storm官方Wik ...
分类：
其他好文 时间：
2016-04-30 12:59:10
阅读次数：
311
近期公司有个需求。须要在后端应用server上实时获取STORM集群的执行信息和topology相关的提交和控制，经过几天对STORM UI和CMD源代码的分析，得出能够通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift能够參见这个地方。安装完毕后，从S ...
分类：
编程语言 时间：
2016-04-23 18:13:03
阅读次数：
214
本文环境如下：
操作系统：CentOS 6 32位
ZooKeeper版本：3.4.8
Storm版本：1.0.0
JDK版本：1.8.0_77 32位
Python版本：2.6.6
集群情况：一个主控节点（Master）和两个工作节点（Slave1，Slave2）
1. 搭建Zookeeper集群安装参考：CentOS下ZooKeeper单机模式、集群模式安装2...
分类：
其他好文 时间：
2016-04-13 15:59:57
阅读次数：
425
