许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master...
分类：
其他好文 时间：
2015-07-02 15:29:02
阅读次数：
149
问题：当完成Topology各个组件的定义之后（写好了**Spout.java 和 **Bolt.java）如何将Topology提交到集群中去？ 参考：http://www.cnblogs.com/fxjwind/archive/2013/06/05/3119056.html 1，在**Topol...
分类：
其他好文 时间：
2015-07-01 20:00:25
阅读次数：
255
import urllib2
import json
def get_all_switches():
url = "http://127.0.0.1:8080/v1.0/topology/switches"
req = urllib2.Request(url)
res_data = urllib2.urlopen(req)
res = res_data.read(...
Storm 配置图文解析. 一个worker进程(process)会产生N个线程(executor)，那么并行度(parallelism)就是所有线程的数目。setNumWorkers
任务(task)是线程执行的工作队列，线程的任务数说明线程的吞吐能力。一个线程的各个任务之间并不是并发的。setNumTasks
线程(executor)是执行任务的上下文环境。...
分类：
其他好文 时间：
2015-07-01 12:16:37
阅读次数：
128
在今天的“大数据”、“云平台”背景下，这些尖端技术，从一个非常多平台技术派生点，Nosql、Hadoop、Storm和其他新兴。技术落后，这些华丽是分不开的，其实无处不在“分散式”虽然这做了一个很长的时间，但是大数据、云计算技术与火。玩笑说。假设不懂一些“分布式"下的技术和原理的，会有点不好...
分类：
其他好文 时间：
2015-07-01 09:57:02
阅读次数：
100
http://www.quora.com/Are-there-any-tutorials-examples-of-using-Apache-Storm-for-event-log-monitoringhttp://blog.mmlac.com/how-to-pre-process-logs-with...
分类：
其他好文 时间：
2015-07-01 00:58:40
阅读次数：
165
现象:启动了多个supervisor，单在ui上只显示一个解决方法：清空"storm.local.dir"对应的目录中的内容，或者重新指定一个目录，如：#stromlocaldirstorm.local.dir:"/var/wd/storm"
分类：
其他好文 时间：
2015-06-30 18:43:01
阅读次数：
102
（一）理论基础
更多理论以后再补充，或者参考书籍
1、trident是什么？
Trident is a high-level abstraction for doing realtime computing on top of Storm. It allows you to seamlessly intermix high throughput (millions of messages p...
分类：
其他好文 时间：
2015-06-30 16:24:58
阅读次数：
168
1. Storm是什么，怎么做，如何做的更好？Storm是一个开源的分布式实时计算系统，它可以简单、可靠地处理大量的数据流。Storm有很多应用场景，如实时分析、在线机器学习、持续计算、分布式RPC、ETL，等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一...
分类：
其他好文 时间：
2015-06-28 21:25:04
阅读次数：
233
storm依赖的软件 ZeroMQ 2.1.7 是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。 JZMQ 底层消息队列 jdk 1.6 PythonZeroMQ安装： wget http://download.zeromq.org/zeromq-2.1.7.tar.gztar...
分类：
其他好文 时间：
2015-06-27 01:16:42
阅读次数：
225
