背景：实现某店商家的实时数据，采用storm+hbase来实时处理流量销量并存储，实时查询展示给用户；经历：
分类：
Web程序 时间：
2015-06-18 02:01:04
阅读次数：
235
1）弹性计算资源 将storm执行在yarn上后。Storm能够与其它计算框架（如mapreduce)共享整个集群的资源。这样当Storm负载骤增时，可动态为它添加计算资源。负载减小时，能够释放资源。2）共享底层存储 执行在yarn上的Storm能够与其它计算框架共享HDFS存储，避免多个集群带.....
分类：
其他好文 时间：
2015-06-17 18:01:36
阅读次数：
146
storm blueprint: P20
从零开始学storm : P40
可靠性：spout发送的消息会被拓扑树上的所有节点ack，否则会一直重发。
完整的可靠性示例请参考storm blueprint的chapter1 v4代码，或者P22。
关键步骤如下：
（一）spout
1、创建一个map，用于记录已经发送的tuple的id与内容，此为待确认的tuple列表。
priva...
分类：
其他好文 时间：
2015-06-17 16:46:10
阅读次数：
135
Storm通过分组来指定数据的流向，主要指定了每个bolt消费哪个流，以及如何消费。
storm内置了7个分组方式，并提供了CustomStreamGrouping来创建自定义的分组方式。
1、随机分组 shuffleGrouping
这种方式会随机分发tuple给bolt的各个task，每个task接到到相同数量的tuple。
2、字段分组 fieldGrouping
按照...
分类：
其他好文 时间：
2015-06-17 15:27:40
阅读次数：
490
（一）storm拓扑的并行度可以从以下4个维度进行设置：1、node（服务器）：指一个storm集群中的supervisor服务器数量。2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。3、executor（线程）：指某个spout或者bo...
分类：
其他好文 时间：
2015-06-17 13:18:10
阅读次数：
152
（一）一个例子
本示例使用storm运行经典的wordcount程序，拓扑如下：
sentence-spout—>split-bolt—>count-bolt—>report-bolt
分别完成句子的产生、拆分出单词、单词数量统计、统计结果输出
完整代码请见 https://github.com/jinhong-lu/stormdemo
以下是关键代码的分析。
1、创建spout
...
（一）storm拓扑的并行度可以从以下4个维度进行设置：
1、node（服务器）：指一个storm集群中的supervisor服务器数量。
2、worker（jvm进程）：指整个拓扑中worker进程的总数量，这些数量会随机的平均分配到各个node。
3、executor（线程）：指某个spout或者bolt的总线程数量，这些线程会被随机平均的分配到各个worker。
4、task（spo...
分类：
其他好文 时间：
2015-06-17 11:25:53
阅读次数：
157
网上很多文件使用 lein 编译 storm 源码，但是我下载的版本 apache-storm-0.9.2-incubating 中没有lein 工程文件，而是有 pom.xml，可以使用maven 编译。
在storm 工程的最上层目录执行： mvn package
可能会碰到错误如下描述（jackson-core-2.0.6 只是一个例子）：
Failed to execut...
分类：
编程语言 时间：
2015-06-16 21:18:30
阅读次数：
189
一、storm伪分布式安装
（一）环境准备
1、OS：debian 7
2、JDK 7.0
（二）安装zookeeper
1、下载zookeeper并解压
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar -zxvf zookeeper-3.4...
分类：
其他好文 时间：
2015-06-16 19:23:42
阅读次数：
196
浏览器兼容 为什么会有兼容问题？ 由于市场上浏览器种类众多，而不同浏览器其内核亦不尽相同，所以各个浏览器对网页的解析就有一定出入，这也是导致浏览器兼容问题出现的主要原因，我们的网页需要在主流浏览器上正常运行，就需要做好浏览器兼容。现在市面上使用较多的内核例如：使用Trident内核的浏览器：IE.....
分类：
其他好文 时间：
2015-06-16 12:25:55
阅读次数：
119
