由于在正式生产环境上部署集群防火墙是不能关闭的，所以要帮storm中用到的端口在iptables中添加规则 是2.6的内核这样加： vi?/etc/sysconfig/iptables
-A?INPUT?-m?state?--state?NEW?-m?tcp?-p?tcp?-...
分类：
其他好文 时间：
2015-08-18 19:56:08
阅读次数：
173
package com.mengyao.storm;import java.io.File;import java.io.IOException;import java.util.Collection;import java.util.HashMap;import java.util.List;im...
分类：
其他好文 时间：
2015-08-18 06:27:39
阅读次数：
124
Centos6.5 storm单机安装本篇幅讲述Twitter Storm安装配置，也作为自己的笔记。
storm的官方安装说明（e文）：https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster
storm的安装分为单机版和集群版，只是配置稍微有点区别，大致一样。
要使用storm首先要安装以下工具：
python...
分类：
其他好文 时间：
2015-08-17 23:41:30
阅读次数：
437
注意：JStorm马上融合到Strom内核了，这意味着以后没有Strom了。
配置executors和tasks（线程和实例）
请始终记得标题：executors和tasks（线程和实例），executors代表线程概念，tasks代表spout或bolt实例。
Storm默认会为每个组成（spout/bolt）创建一个任务（task），默认一个任务运行被一个线程（exe...
分类：
编程语言 时间：
2015-08-17 01:08:05
阅读次数：
144
今天结合JStorm官方Demo，进一步研磨学习了JStorm提交任务到分配任务的过程，下面是自己的一些认识与理解。
Topology是JStorm对有向无环图的抽象，其内部封装了数据源spout和数据处理对象bolt，以及spout和bolt、bolt和bolt之间的关系。
1) Demo中SequenceTopology对象的SetBuilder(TopologyBuilder b...
分类：
Web程序 时间：
2015-08-16 16:43:23
阅读次数：
237
在四台虚拟机上完成了Jstorm和Zookeeper集群的搭建，并向JStorm提交官方demo，运行成功。搭建过程中遇到的问题和解决方案：
1． 虚拟机上启动不了supervisor服务，经排查发现，是当前登录用户没有日志写入权限导致的，用sudo chown user:user –R *命令修改权限后，启动supervisor节点上的服务成功；
2． 如果JStorm的配置文件storm.y...
分类：
其他好文 时间：
2015-08-16 16:43:22
阅读次数：
176
Storm框架的核心由7个部分组成，如图：Topology（拓扑） 一个拓扑是一个图的计算。用户在一个拓扑的每个节点包含处理逻辑，节点之间的连接显示数据应该如何在节点间传递。Topology的运行时很简单的。Stream（流） 流是Storm的核心抽象。一个流是一个无界Tuple序列，Tuple.....
分类：
其他好文 时间：
2015-08-16 10:40:18
阅读次数：
211
MPQ什么？ MPQ维基上说的非常明确。简而言之，它是暴雪公司用于游戏数据打包的工具。星际争霸，魔兽争霸游戏中都有使用。该工具内含游戏资源加密和压缩等功能。 git下载地址：https://github.com/stormlib/StormLib MPQ文件总共同拥有四种格式： ...
分类：
其他好文 时间：
2015-08-15 21:14:25
阅读次数：
904
什么是Storm? Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。 Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要...
分类：
其他好文 时间：
2015-08-15 20:10:04
阅读次数：
145
拓朴异构酶（英语：Topoisomerase；type I：EC5.99.1.2，type II：EC5.99.1.3）是一种异构酶，能使DNA长链断裂与接合。专门参与DNA拓扑构形（DNA topology）改变的过程，最早的发现者是出身台湾的生化学家王倬[1]。目录[隐藏]1拓扑问题2功能3分类...
分类：
其他好文 时间：
2015-08-14 11:27:04
阅读次数：
154
