判断storm的一个topology性能如何，主要关注capacity指标。官方对此有一段描述：The "capacity" metric is very useful and tells you what % of the time in the last 10 minutes the bolt ...
分类：
其他好文 时间：
2015-09-15 16:28:36
阅读次数：
164
worker：topology的进程。 executor：线程，由worker产生。 task：具体一个?spout/bolt的实例。 thread和task关系：一个thread可以运行多个实例，但是如果不显示设定task数量：setNumTasks(n)，一个thread默认执...
分类：
其他好文 时间：
2015-09-04 12:57:45
阅读次数：
190
1上午学习了JStorm数据流组
spout和bolt都可以并发的执行多个任务，因此必须有一种方法指定哪个数据流路由到哪个spout/bolt，数据流组用来指定一个拓扑内的路由过程。
1) 随机数据流组，是比较常用的一种方式，它指定了一个参数——数据源组件，然后该数据源会向随机选择的bolt发送tuple，当然，JStorm会保证每个bolt接到任务的均衡性。实现方法:shuffleGr...
分类：
其他好文 时间：
2015-08-27 11:14:41
阅读次数：
153
注意：JStorm马上融合到Strom内核了，这意味着以后没有Strom了。
配置executors和tasks（线程和实例）
请始终记得标题：executors和tasks（线程和实例），executors代表线程概念，tasks代表spout或bolt实例。
Storm默认会为每个组成（spout/bolt）创建一个任务（task），默认一个任务运行被一个线程（exe...
分类：
编程语言 时间：
2015-08-17 01:08:05
阅读次数：
144
今天结合JStorm官方Demo，进一步研磨学习了JStorm提交任务到分配任务的过程，下面是自己的一些认识与理解。
Topology是JStorm对有向无环图的抽象，其内部封装了数据源spout和数据处理对象bolt，以及spout和bolt、bolt和bolt之间的关系。
1) Demo中SequenceTopology对象的SetBuilder(TopologyBuilder b...
分类：
Web程序 时间：
2015-08-16 16:43:23
阅读次数：
237
最美应用－从Android研发工程师的角度之厨房故事
@author ASCE1885的 Github 简书 微博 CSDN
本文我们将如约来分析下厨房故事这款德国app的技术堆栈。由于国内和国外网络环境，技术环境的不同，我们将会看到它和最美时光很不一样的东西。我们需要思考的是如果是自己开发一款全新的app时，会如何选择属于自己的技术堆栈呢？
使用的开源函数库1. 底层库集合Bolt...
分类：
移动开发 时间：
2015-08-13 20:16:05
阅读次数：
168
首先我们通过一个storm和hadoop的对比来了解storm中的基本概念。HadoopStorm系统角色JobTrackerNimbusTaskTrackerSupervisorChildWorker应用名称JobTopology组件接口Mapper/ReducerSpout/Bolt接下来我们再来具体看一下这些概念。a、Nimbus：负责资源分配和任务调度。b、Supervi..
分类：
其他好文 时间：
2015-08-10 20:20:48
阅读次数：
119
数据来源：HADOOP是HDFS上某个文件夹下的可能是成TB的数据，STORM是实时新增的某一笔数据；Hadoop与Storm的比较处理过程：HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)...
分类：
其他好文 时间：
2015-07-31 21:51:12
阅读次数：
201
public static final String METRICS_AGGREGATE_PERIOD_MILLISECONDS = "metrics.storm.aggregate.period.milliseconds"; @Value("${" + METRICS_AGGREGATE_P...
分类：
编程语言 时间：
2015-07-28 00:39:57
阅读次数：
639
背景前期收到的问题：
1、在Topology中我们可以指定spout、bolt的并行度，在提交Topology时Storm如何将spout、bolt自动发布到每个服务器并且控制服务的CPU、磁盘等资源的？
2、Storm处理消息时会根据Topology生成一棵消息树，Storm如何跟踪每个消息、如何保证消息不丢失以及如何实现重发消息机制？
上篇：storm是如何保证at least onc...
分类：
其他好文 时间：
2015-07-23 00:44:11
阅读次数：
113
