public static final String METRICS_AGGREGATE_PERIOD_MILLISECONDS = "metrics.storm.aggregate.period.milliseconds"; @Value("${" + METRICS_AGGREGATE_P...
分类：
编程语言 时间：
2015-07-28 00:39:57
阅读次数：
639
做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储” ? 1）.数据采集 负责从各节点上实时采集数据，选用cloud...
分类：
Web程序 时间：
2015-07-27 21:13:48
阅读次数：
185
求有向图中是否有环。
法一：拓扑排序
用一个队列维护所有入度为0的节点，每次弹出一个节点v，查看从v可达的所有节点u;
将u的入读减一，若u的入度此时为0, 则将u加入队列。
在队列为空时，检查所有节点的入度，若所有节点入度都为0, 则存在这样的一个拓扑排序 —— 有向图中不存在环。...
分类：
编程语言 时间：
2015-07-27 18:58:01
阅读次数：
170
背景 UAE(UC App Engine)是一个UC内部的PaaS平台，总体架构有点类似CloudFoundry，包括： 快速部署：支持Node.js、Play!、PHP等框架 信息透明：运维过程、系统状态、业务状况 灰度试错：IP灰度、地域灰度 基础服务...
分类：
其他好文 时间：
2015-07-27 16:56:47
阅读次数：
215
使用storm可以方便的构建一种集群式的数据框架，并通过定义topo来实现业务逻辑。 但使用topo存在一个缺点， topo的处理能力来自于其启动时设置的worker数目，在很多情况下，我们需要能够根据业务压力来调整集群的处理能力，这时候单一的topo就无法解决这个问题了。 为了能够更加灵活的定义处...
分类：
其他好文 时间：
2015-07-24 12:09:56
阅读次数：
89
MOS上有好多文章，基本上都跑不了下面三点：
Setup can make a big difference
1. Network topology and load
2. NFS mount options(选择合适的挂载选项)
3. TCP configuration(配置合适的MTU,TCP window size,TCP congestion window sizes)
...
分类：
数据库 时间：
2015-07-23 10:41:28
阅读次数：
161
背景前期收到的问题：
1、在Topology中我们可以指定spout、bolt的并行度，在提交Topology时Storm如何将spout、bolt自动发布到每个服务器并且控制服务的CPU、磁盘等资源的？
2、Storm处理消息时会根据Topology生成一棵消息树，Storm如何跟踪每个消息、如何保证消息不丢失以及如何实现重发消息机制？
上篇：storm是如何保证at least onc...
分类：
其他好文 时间：
2015-07-23 00:44:11
阅读次数：
113
最近在搞kafak+storm+flume实时处理，但是kafka与storm总是会自己莫名死掉，查看日志就是下面的内容： 2015-07-22T03:15:31.808+0800?b.s.event?[INFO]?Event?manager?interrupted 2015-07-22T03:15:31.808...
分类：
其他好文 时间：
2015-07-22 16:44:13
阅读次数：
134
