1、storm集群配置JDK环境变量问题 问题分析：在linux系统下配置JDK后一般修改/etc/profile值进行环境变量配置，但是安装storm集群时会出现问题 问题解决：需要在/etc/.bashrc文件中也加入环境变量不然安装的JDK无...
分类：
其他好文 时间：
2015-07-13 06:41:08
阅读次数：
131
转载：http://weyo.me/pages/techs/storm-topology-remote-submission/作为一个懒癌晚期患者，虽然 Storm 只需要一条命令的任务提交方式已经够简单了，但还是一直想要有种更简(tou)单(lan)的方式，比如要是在 Windows 下写完代码之...
分类：
其他好文 时间：
2015-07-04 13:56:59
阅读次数：
570
（一）storm拓扑的并行度可以从以下4个维度进行设置：1、node（服务器）：指一个storm集群中的supervisor服务器数量。2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。3、executor（线程）：指某个spout或者bo...
分类：
其他好文 时间：
2015-06-17 13:18:10
阅读次数：
152
（一）storm拓扑的并行度可以从以下4个维度进行设置：
1、node（服务器）：指一个storm集群中的supervisor服务器数量。
2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。
3、executor（线程）：指某个spout或者bolt的总线程数量，这些线程会被随机平均的分配到各个worker。
4、task（spo...
分类：
其他好文 时间：
2015-06-17 11:25:53
阅读次数：
157
安装storm集群，需要依赖以下组件：ZookeeperPythonZeromqStormJDKJZMQ故安装过程根据上面的组件分为以下几步：安装JDK安装Zookeeper集群安装Python及依赖安装Storm另外，操作系统环境为：Centos6.4，安装用户为：root。1. 安装JDK安装j...
分类：
其他好文 时间：
2015-06-13 01:07:52
阅读次数：
236
Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网：http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群，Hadoop上运行的是MapReduce Jobs，而Storm运行topologies；但是其...
分类：
其他好文 时间：
2015-06-13 01:05:37
阅读次数：
195
1、下载、解压缩2、编辑conf/storm.yaml12345678910111213141516storm.zookeeper.servers:- "vm1"# - "server2"#storm.zookeeper.port: 2181storm.local.dir: "/usr/local/...
分类：
其他好文 时间：
2015-06-07 23:11:37
阅读次数：
180
1、Storm并行度相关的概念Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点），在conf/storm.yaml中配置了一个supervisor有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker，在每个wo...
分类：
其他好文 时间：
2015-06-07 23:05:40
阅读次数：
301
roleIPhostnamemaster：192.168.1.147cdh1slave1：192.168.1.142cdh2slave2：192.168.1.143cdh3############################################Installstep#########################1.InstallJDK7wget--no-check-certificate--no-cookies--header"Cookie:oraclelicense=accept-..
分类：
其他好文 时间：
2015-06-03 19:53:33
阅读次数：
120
“Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个partition上并行进行的。注：①“Stream”是Trident中的核心数据模型：有些地方也说是TridentTuple，没..
