分布式系统实践1.从Storm和Spark 学习流式实时分布式计算的设计http://www.csdn.net/article/2014-08-04/2821018/1要点:流式计算并不是什么新鲜的东西, 相信很多同学也都用过. 不过之前流式计算往往都用在业务相关的地方, 随着大规模分布式系统对tr...
分类：
其他好文 时间：
2015-10-18 10:03:16
阅读次数：
272
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
jstorm开发指南-写个简单的jstorm应用发表于 2015-07-18 | 分类于大数据 | 暂无评论jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：开发非常迅速: 接口简单，容易上手，只要遵守Topology，Spout， Bol....
分类：
Web程序 时间：
2015-10-15 20:28:13
阅读次数：
369
-----------------------------WordSpout? ? package?com.hzw.storm.Spout; ? import?java.util.Map; import?java.util.Random; ? import?backtype.storm.spout.SpoutOutputCollector; import?backt...
分类：
其他好文 时间：
2015-10-12 21:12:59
阅读次数：
267
Worker-维护ZMQ连接（mk-refresh-connections、refresh-storm-active、mk-transfer-local-fn 、defn mk-transfer、mk-transfer-tuples-handler ）
分类：
其他好文 时间：
2015-10-10 12:09:05
阅读次数：
369
storm是grovvy写的kafka是scala写的storm-kafkastorm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包curator-framework-1.3.3.jar和curator-client..
分类：
其他好文 时间：
2015-10-09 18:29:00
阅读次数：
278
WordCount是很多分布式计算中，最常用的例子，例如Hadoop、Storm，Iveely Computing也不例外。明白了WordCount在Iveely Computing上的运行原理，就很容易写出新的分布式程序。上一篇中已经知道了如何部署Iveely Computing以及提交任务，现在...
分类：
其他好文 时间：
2015-10-09 18:07:03
阅读次数：
232
本文会不断完善，今天开个头slot数量配置slot就是worker, 就是worker machine上的可运行的进程数，每个进程监听一个端口号。整个集群的slot的总数 = 所有supervisor上的监听端口port的数目之和建议是CPU总核数 - 1 。在24核服务器上，port数目应该最大是23才对。下面是20个的配置如下：supervisor.slots.ports:
-...
分类：
其他好文 时间：
2015-09-30 11:12:58
阅读次数：
253
