Storm是一个分布式的、可靠的、容错的数据流处理系统（流式计算框架，可以和mapreduce的离线计算框架对比理解）。 整个任务被委派给不同的组件，每个组件负责一个简单的特定的处理任务。Storm集群的输入流是一个叫...
分类：
其他好文 时间：
2014-09-23 13:10:17
阅读次数：
348
nimbus是storm集群的"控制器"，是storm集群的重要组成部分。我们可以通用执行bin/storm nimbus >/dev/null 2>&1 &来启动nimbus。bin/storm是一个python脚本，在这个脚本中定义了一个nimbus函数：nimbus函数def nimbus(k...
分类：
其他好文 时间：
2014-09-15 22:33:00
阅读次数：
594
一、Storm概述
Storm是一个分布式的、可靠的、零失误的处理流式数据的系统。它的工作就是委派各种组件分别独立的处理一些简单任务。在Storm集群中处理输入流的是Spout组件，而Spout又把读取的数据传递给叫Bolt的组件。Bolt组件会对收到的数据元组进行处理，也有可能传递给下一个Bolt。我们可以把Storm集群想象成一个由bolt组件组成的链条集合，数据在这些链条上传输...
分类：
其他好文 时间：
2014-08-04 10:59:37
阅读次数：
273
使用C++控制STORM需要在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制，经过几天对STORM UI和CMD源码的分析，得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift可以参见这个地方。安装完成后，从STORM源码中将storm.thrift拷贝到thrift目录下。...
分类：
编程语言 时间：
2014-07-24 23:26:13
阅读次数：
273
Storm安装配置
三台机器 131,132,133
需要安装 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq
安装jdk和python不详细说。
1 安装 autoconf-2.64,
1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 ...
分类：
其他好文 时间：
2014-07-03 13:53:26
阅读次数：
293
学习Storm视频教程需要具有：Java基础、Linux基础；学习Storm视频教程可以提升的技能(Storm除外)：Zookeeper、Java、Linux
用到技术：Storm集群、Zookeeper集群等
涉及项目：网站PV、UV案例实战、其他案例
Storm视频教程 Storm入门教程-Storm流计算从入门到精通-技术篇，Storm视频教程全面、系统、深入讲解Storm，采用最新的稳定版本Storm 0.9.0.1 ；注重实践，对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批...
分类：
其他好文 时间：
2014-06-18 12:38:14
阅读次数：
412
环境说明
1、硬件说明
使用三台PC机，角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、pytho...
分类：
其他好文 时间：
2014-05-13 05:44:31
阅读次数：
345
