码迷,mamicode.com
首页 >  
搜索关键字:storm topology    ( 1867个结果
使用Maven 编译 storm 源码可能碰到下载依赖jar 的问题
网上很多文件使用 lein 编译 storm 源码,但是我下载的版本 apache-storm-0.9.2-incubating 中没有lein 工程文件,而是有 pom.xml,可以使用maven 编译。 在storm 工程的最上层目录执行: mvn package 可能会碰到错误如下描述(jackson-core-2.0.6 只是一个例子): Failed to execut...
分类:编程语言   时间:2015-06-16 21:18:30    阅读次数:189
storm之2:安装部署
一、storm伪分布式安装 (一)环境准备 1、OS:debian 7 2、JDK 7.0 (二)安装zookeeper 1、下载zookeeper并解压  wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz  tar -zxvf zookeeper-3.4...
分类:其他好文   时间:2015-06-16 19:23:42    阅读次数:196
4. Storm可靠性
storm高可靠性:storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制:1.节点故障迁移 当一个节点上的worker出现问题是,会自动切到其他节点;2.消息完整发送一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类:其他好文   时间:2015-06-13 06:16:10    阅读次数:182
2. Storm消息流
1. 概念消息流是storm里面的最关键的抽象。一个消息流是一个没有边界的tuple序列, 而这些tuples会被以一种分布式的方式并行地创建和处理。 对消息流的定义主要是对消息流里面的tuple的定义, 我们会给tuple里的每个字段一个名字。 并且不同tuple的对应字段的类型必须一样。 也就是...
分类:其他好文   时间:2015-06-13 01:09:03    阅读次数:300
1.1 Storm集群安装部署步骤
安装storm集群,需要依赖以下组件:ZookeeperPythonZeromqStormJDKJZMQ故安装过程根据上面的组件分为以下几步:安装JDK安装Zookeeper集群安装Python及依赖安装Storm另外,操作系统环境为:Centos6.4,安装用户为:root。1. 安装JDK安装j...
分类:其他好文   时间:2015-06-13 01:07:52    阅读次数:236
1. Storm介绍
Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网:http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群,Hadoop上运行的是MapReduce Jobs,而Storm运行topologies;但是其...
分类:其他好文   时间:2015-06-13 01:05:37    阅读次数:195
3. Storm编程框架
实例分析lifeCycle:RandomWordSpout 1 package cn.itcast.storm.spout; 2 import java.util.Map; 3 import java.util.Random; 4 import org.apache.commons.logging....
分类:其他好文   时间:2015-06-13 01:03:01    阅读次数:163
Spout的实现步骤
Spout的实现步骤: ·        对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。 ·        在数据得到了字段的说明后,将其转换成tuple。 ·        声明Spout和Bolt之间的分组,并决定tuple发送给Bolt的途径。 Spout的具体编码在Listing Three中显示。 Listing Three:Spout中open、nextTupl...
分类:其他好文   时间:2015-06-12 17:22:50    阅读次数:181
初识Storm
问题导读: 1.storm产生的条件是什么? 2.storm的什么特性,使其成为不可替代? 3.storm用什么来完成工作Topology? 4.storm容错的原理是什么? 场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们...
分类:其他好文   时间:2015-06-11 15:00:25    阅读次数:185
Storm 常用命令
1、启动Nimbusbin/storm nimbus &2、启动Supervisorbin/storm supervisor &3、启动UIbin/storm ui &通过http://主机:8080去访问:4、列出拓扑bin/storm listTopology_name Statu...
分类:其他好文   时间:2015-06-11 10:45:42    阅读次数:174
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!