var browser={ versions:function(){ var u = navigator.userAgent, app = navigator.appVersion; return {//移动终端浏览器版本信息 trident: u.indexOf('Trident') > -1, ...
分类：
移动开发 时间：
2017-05-17 17:27:24
阅读次数：
266
安装storm前需要先搞定zookeeper和python，所以下面我们3步走： 一、zookeeper 1、上https://zookeeper.apache.org/点击下方download到新页面，还得点一次中间的download，再选一个镜像链接http://mirrors.tuna.tsi ...
集群环境搭建 实际操作 storm包解压后的目录结构是这样的： 再到bin里面看看： 再看一下conf目录，可见我们需要配置的文件： 首先配置一下storm的profile全局环境（三台机器都要配置）： 在来配置一下storm.yaml文件（三台机器都要配置），要注意短线前后的空格： 配置好后启动z ...
分类：
其他好文 时间：
2017-05-17 01:00:02
阅读次数：
242
在编写storm代码来进行实时分析的时候遇到了一些问题，有些的确令人比较头痛，现在稍微做一下整理。数据流向（本地-Spout-Bolt-Hdfs） 1数据的输入输出文件的路径选择 因为在此项目中数据是放在本地磁盘的，所有就有两种放数据的途径，一种是直接通过spout接受本地数据发送到任务中，另一种是 ...
分类：
其他好文 时间：
2017-05-16 23:27:53
阅读次数：
307
Spouts,流的源头 Spout是Storm里面特有的名词，Stream的源头，通常是从外部数据源读取tuples，并emit到topology Spout可以同时emit多个tupic stream，通过OutputFieldsDeclarer中的declareStream，method来定义 ...
分类：
其他好文 时间：
2017-05-16 23:25:12
阅读次数：
305
dubbo ecosystemdubboDubbo是一个高性能、可扩展的分布式服务框架，基于RPC，支持多种协议调用、服务监控和治理，同时是去中心化的框架，对应用侵入性小。
- 官方网站
-...
分类：
其他好文 时间：
2017-05-16 15:47:15
阅读次数：
1040
离线计算 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、azkaban/oozie任务调度 流式计算 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表 ...
分类：
其他好文 时间：
2017-05-15 23:52:38
阅读次数：
465
Storm计算的结果存放在哪里？ 刚開始接触Storm的时候。往往都会有这么一个疑问：“Storm处理后 的计算结果是保存在哪里呢？”是内存中还是在其他的地方？ 官方给出的解释是：Storm不负责保存计算结果，计算结果由运算程序 来负责。假设数据不大，能够简单的保存在内存里。能够每次更新到数据库， ...
分类：
其他好文 时间：
2017-05-15 14:09:53
阅读次数：
162
Storm中有个特殊的Executor叫acker，他们负责跟踪spout发出的每一个Tuple的Tuple树。当acker发现一个Tuple树已经处理完成了，它会告诉框架回调Spout的ack()，否则回调Spout的fail()。Acker的跟踪算法是Storm的主要突破之一，对任意大的一个Tuple树，它只需要恒定的20字节就可以..
分类：
其他好文 时间：
2017-05-14 21:43:15
阅读次数：
1612
storm引擎计算出一批中间告警结果，会发送一条kafka消息给告警入库服务，告警入库服务接收到kafka消息后读取中间告警文件，经过一系列处理后把最终告警存入mysql中。 实际上，中间告警结果可能有重复告警、错误告警、无用告警，告警入库服务会过滤，压缩中间告警，把用户关心的告警存入数据库。过滤的 ...
分类：
编程语言 时间：
2017-05-13 10:03:32
阅读次数：
229
