二、安装部署一、storm伪分布式安装(一)环境准备1、OS:debian 72、JDK 7.0(二)安装zookeeper1、下载zookeeper并解压wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper...
分类:
其他好文 时间:
2015-07-10 10:54:37
阅读次数:
204
在Storm中, 开发者可以为上游spout/bolt发射出的tuples指定下游bolt的哪个/哪些task(s)来处理该tuples。这种指定在storm中叫做对stream的分组,即stream grouping,分组方式主要有以下7种Shuffle Grouping 或 None Group...
分类:
其他好文 时间:
2015-07-10 02:05:52
阅读次数:
195
介绍Interconnect Parasitics之中的基本问题,包括RC的建模,RC tree的topology,布线后RC参数的提取
分类:
其他好文 时间:
2015-07-09 17:51:24
阅读次数:
147
1.概述 在《Kafka实战-Flume到Kafka》一文中给大家分享了Kafka的数据源生产,今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容,如下所示:数据消费Storm计算预览截图 接下来,我们开始分享今天的内容。2.数据消费 .....
分类:
其他好文 时间:
2015-07-09 12:59:06
阅读次数:
172
Hadoop:
Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互,将一个个任务分解成映射与合并两种方式,然而通过映射进行分类与简化,从而产生部分归并结果,然后对同类结果进行归并计算;
由于Hadoop的中间结果需要依托于hdfs,从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差;
Hadoop主要处理hdfs上的文本文件,而文本文件内容本...
分类:
其他好文 时间:
2015-07-07 19:27:46
阅读次数:
294
Git常用命令备忘
2014 年 01 月 27 日
git
Git配置
git config --global user.name "storm"
git config --global user.email "stormzhang.dev@gmail.com"
git config --global color.ui true
git config ...
分类:
其他好文 时间:
2015-07-07 16:50:09
阅读次数:
136
转载:http://weyo.me/pages/techs/storm-topology-remote-submission/作为一个懒癌晚期患者,虽然 Storm 只需要一条命令的任务提交方式已经够简单了,但还是一直想要有种更简(tou)单(lan)的方式,比如要是在 Windows 下写完代码之...
分类:
其他好文 时间:
2015-07-04 13:56:59
阅读次数:
570
1、下载Storm及相关组件,包括:Storm包:https://storm.apache.org/downloads.htmlZeroMQ包:http://zeromq.org/area:downloadJZMQ包:https://github.com/nathanmarz/jzmq2、安装依赖包1,安装ZeroMQ包和JZMQ包一般步骤:./configuremakemakeinstall默认configure的前缀--pre..
分类:
其他好文 时间:
2015-07-03 16:05:43
阅读次数:
156
hadoop 是实现了 mapreduce 的思想,将数据切片计算来处理大量的离线数据。hadoop
处理的数据必须是已经存放在 hdfs 上或者类似 hbase 的数据库中,所以 hadoop 实现的时候
是通过移动计算到这些存放数据的机器上来提高效率而 storm 不同,storm 是一个流计算框
架,处理的数据是实时消息队列中的,所以需要我们写好一个 topology 逻辑放在那,...
分类:
其他好文 时间:
2015-07-02 19:34:35
阅读次数:
138
http://tech.uc.cn/?p=2159诞 生 在2011年Storm开源之前,由于Hadoop的火红,整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐,海量数据处理的能力使得人们可以方便地处理海量数据。但是,Hadoop的缺点也和它的优点同样鲜明——延迟大,响应缓慢,运维复杂。 ....
分类:
其他好文 时间:
2015-07-02 17:16:58
阅读次数:
165