做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储” ? 1）.数据采集 负责从各节点上实时采集数据，选用cloud...
分类：
Web程序 时间：
2015-07-27 21:13:48
阅读次数：
185
背景 UAE(UC App Engine)是一个UC内部的PaaS平台，总体架构有点类似CloudFoundry，包括： 快速部署：支持Node.js、Play!、PHP等框架 信息透明：运维过程、系统状态、业务状况 灰度试错：IP灰度、地域灰度 基础服务...
分类：
其他好文 时间：
2015-07-27 16:56:47
阅读次数：
215
使用storm可以方便的构建一种集群式的数据框架，并通过定义topo来实现业务逻辑。 但使用topo存在一个缺点， topo的处理能力来自于其启动时设置的worker数目，在很多情况下，我们需要能够根据业务压力来调整集群的处理能力，这时候单一的topo就无法解决这个问题了。 为了能够更加灵活的定义处...
分类：
其他好文 时间：
2015-07-24 12:09:56
阅读次数：
89
背景前期收到的问题：
1、在Topology中我们可以指定spout、bolt的并行度，在提交Topology时Storm如何将spout、bolt自动发布到每个服务器并且控制服务的CPU、磁盘等资源的？
2、Storm处理消息时会根据Topology生成一棵消息树，Storm如何跟踪每个消息、如何保证消息不丢失以及如何实现重发消息机制？
上篇：storm是如何保证at least onc...
分类：
其他好文 时间：
2015-07-23 00:44:11
阅读次数：
113
/* * 智能机浏览器版本信息: * */ var browser = { versions: function () { var u = navigator.userAgent, app = navigator.appVersion; return {//移动终端浏览器版本信息 trident:....
分类：
Web程序 时间：
2015-07-22 20:49:32
阅读次数：
128
最近在搞kafak+storm+flume实时处理，但是kafka与storm总是会自己莫名死掉，查看日志就是下面的内容： 2015-07-22T03:15:31.808+0800?b.s.event?[INFO]?Event?manager?interrupted 2015-07-22T03:15:31.808...
分类：
其他好文 时间：
2015-07-22 16:44:13
阅读次数：
134
引子这几天为了优化原有的数据处理框架，比较系统的学习了storm的一些内容，整理一下心得1. storm提供的是一种数据处理思想，它不提供具体的解决方案 storm的核心是topo的定义，而topo承载着所有的业务逻辑，我们基于storm的topo的组织方案，来编排私有的业务实现逻辑。 stor.....
分类：
其他好文 时间：
2015-07-21 21:51:14
阅读次数：
93
