网上很多文件使用 lein 编译 storm 源码,但是我下载的版本 apache-storm-0.9.2-incubating 中没有lein 工程文件,而是有 pom.xml,可以使用maven 编译。
在storm 工程的最上层目录执行: mvn package
可能会碰到错误如下描述(jackson-core-2.0.6 只是一个例子):
Failed to execut...
分类:
编程语言 时间:
2015-06-16 21:18:30
阅读次数:
189
一、storm伪分布式安装
(一)环境准备
1、OS:debian 7
2、JDK 7.0
(二)安装zookeeper
1、下载zookeeper并解压
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar -zxvf zookeeper-3.4...
分类:
其他好文 时间:
2015-06-16 19:23:42
阅读次数:
196
storm高可靠性:storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制:1.节点故障迁移 当一个节点上的worker出现问题是,会自动切到其他节点;2.消息完整发送一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类:
其他好文 时间:
2015-06-13 06:16:10
阅读次数:
182
1. 概念消息流是storm里面的最关键的抽象。一个消息流是一个没有边界的tuple序列, 而这些tuples会被以一种分布式的方式并行地创建和处理。 对消息流的定义主要是对消息流里面的tuple的定义, 我们会给tuple里的每个字段一个名字。 并且不同tuple的对应字段的类型必须一样。 也就是...
分类:
其他好文 时间:
2015-06-13 01:09:03
阅读次数:
300
安装storm集群,需要依赖以下组件:ZookeeperPythonZeromqStormJDKJZMQ故安装过程根据上面的组件分为以下几步:安装JDK安装Zookeeper集群安装Python及依赖安装Storm另外,操作系统环境为:Centos6.4,安装用户为:root。1. 安装JDK安装j...
分类:
其他好文 时间:
2015-06-13 01:07:52
阅读次数:
236
Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网:http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群,Hadoop上运行的是MapReduce Jobs,而Storm运行topologies;但是其...
分类:
其他好文 时间:
2015-06-13 01:05:37
阅读次数:
195
实例分析lifeCycle:RandomWordSpout 1 package cn.itcast.storm.spout; 2 import java.util.Map; 3 import java.util.Random; 4 import org.apache.commons.logging....
分类:
其他好文 时间:
2015-06-13 01:03:01
阅读次数:
163
Spout的实现步骤:
· 对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。
· 在数据得到了字段的说明后,将其转换成tuple。
· 声明Spout和Bolt之间的分组,并决定tuple发送给Bolt的途径。
Spout的具体编码在Listing Three中显示。
Listing Three:Spout中open、nextTupl...
分类:
其他好文 时间:
2015-06-12 17:22:50
阅读次数:
181
问题导读: 1.storm产生的条件是什么? 2.storm的什么特性,使其成为不可替代? 3.storm用什么来完成工作Topology? 4.storm容错的原理是什么? 场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们...
分类:
其他好文 时间:
2015-06-11 15:00:25
阅读次数:
185
1、启动Nimbusbin/storm nimbus &2、启动Supervisorbin/storm supervisor &3、启动UIbin/storm ui &通过http://主机:8080去访问:4、列出拓扑bin/storm listTopology_name Statu...
分类:
其他好文 时间:
2015-06-11 10:45:42
阅读次数:
174