storm高可靠性：storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制：1.节点故障迁移 当一个节点上的worker出现问题是，会自动切到其他节点；2.消息完整发送一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类：
其他好文 时间：
2015-06-13 06:16:10
阅读次数：
182
1. 概念消息流是storm里面的最关键的抽象。一个消息流是一个没有边界的tuple序列， 而这些tuples会被以一种分布式的方式并行地创建和处理。 对消息流的定义主要是对消息流里面的tuple的定义， 我们会给tuple里的每个字段一个名字。 并且不同tuple的对应字段的类型必须一样。 也就是...
分类：
其他好文 时间：
2015-06-13 01:09:03
阅读次数：
300
安装storm集群，需要依赖以下组件：ZookeeperPythonZeromqStormJDKJZMQ故安装过程根据上面的组件分为以下几步：安装JDK安装Zookeeper集群安装Python及依赖安装Storm另外，操作系统环境为：Centos6.4，安装用户为：root。1. 安装JDK安装j...
分类：
其他好文 时间：
2015-06-13 01:07:52
阅读次数：
236
Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网：http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群，Hadoop上运行的是MapReduce Jobs，而Storm运行topologies；但是其...
分类：
其他好文 时间：
2015-06-13 01:05:37
阅读次数：
195
实例分析lifeCycle：RandomWordSpout 1 package cn.itcast.storm.spout; 2 import java.util.Map; 3 import java.util.Random; 4 import org.apache.commons.logging....
分类：
其他好文 时间：
2015-06-13 01:03:01
阅读次数：
163
Spout的实现步骤：
· 对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。
· 在数据得到了字段的说明后，将其转换成tuple。
· 声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。
Spout的具体编码在Listing Three中显示。
Listing Three：Spout中open、nextTupl...
分类：
其他好文 时间：
2015-06-12 17:22:50
阅读次数：
181
问题导读： 1.storm产生的条件是什么？ 2.storm的什么特性，使其成为不可替代？ 3.storm用什么来完成工作Topology？ 4.storm容错的原理是什么？ 场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们...
分类：
其他好文 时间：
2015-06-11 15:00:25
阅读次数：
185
1、启动Nimbusbin/storm nimbus &2、启动Supervisorbin/storm supervisor &3、启动UIbin/storm ui &通过http://主机：8080去访问：4、列出拓扑bin/storm listTopology_name Statu...
分类：
其他好文 时间：
2015-06-11 10:45:42
阅读次数：
174
RPC：Remote Procedure CallDRPC：Distributed RPCHadoop提供了RPC的实现机制，实现方法见：《》，本文主要介绍Storm的DRPC。1、Storm DRPC工作流程Storm的DRPC由DRPC Server和一个特殊的topology组成。DRPC S...
分类：
其他好文 时间：
2015-06-10 19:19:38
阅读次数：
236
获得
org.apache.storm
storm-core
0.9.5
常用类
backtype.storm.topology.TopologyBuilder
用来建立topology。
SpoutDeclarer backtype.storm.topology.TopologyBuilder.setSpout(String id, IRichSpout spout, N...
分类：
其他好文 时间：
2015-06-10 15:48:49
阅读次数：
2505
