在这里，将会提到storm的七种grouping策略，并且编码逐一实现。 首先，需要一个集群（希望尽量模仿真实环境，故就不用本地模式了）。详细的安装方法大家可以查看本人的另外一篇博文：storm集群和zookeeper集群的部署过程。 OK。现在有三个节点。一个作为nimbus，两个作...
分类：
其他好文 时间：
2015-02-24 23:20:45
阅读次数：
280
一、Storm中执行的组件 我们知道，Storm的强大之处就是能够非常easy地在集群中横向拓展它的计算能力，它会把整个运算过程切割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是执行在集群中的一个Spout或Bolt实例。 为了方便理解Storm怎样并行处理我们分给.....
分类：
其他好文 时间：
2015-02-23 09:36:35
阅读次数：
161
本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节：当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性，以及Nimbus是否存在单点故障问题。...
分类：
其他好文 时间：
2015-02-17 17:40:45
阅读次数：
128
storm-hdfs 这个插件支持 Rotation Actions 这个功能，官方文档解释是这样的，
### File Rotation Actions
Both the HDFS bolt and Trident State implementation allow you to register any number of `RotationAction`s.
What...
分类：
其他好文 时间：
2015-02-14 11:02:20
阅读次数：
185
1.概述 Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预计会连续.....
分类：
其他好文 时间：
2015-02-13 16:24:58
阅读次数：
144
前言spark与hadoop的比较我就不多说了，除了对硬件的要求稍高，spark应该是完胜hadoop（Map/Reduce）的。storm与spark都可以用于流计算，但storm对应的场景是毫秒级的统计与计算，而spark（stream）对应的是秒级的。这是主要的差别。一般很少有对实时要求那么高...
分类：
其他好文 时间：
2015-02-13 16:09:25
阅读次数：
132
source code:package stormdemo;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileNotFoundException;import java.io.FileRead...
分类：
其他好文 时间：
2015-02-13 09:16:07
阅读次数：
132
KAFKA安装和使用
WINDOWS:
准备软件：kafka_2.11-0.8.2.0.tgz
安装步骤：
1. 创建目录D:\kafka，将kafka_2.11-0.8.2.0.tgz解压到该目录下，解压两份，并重命名为kafka1和kafka2.并在这两个目录下创建文件kafka1/log/logs,
kafka2/log/logs
2. 在D:\kaf...
分类：
其他好文 时间：
2015-02-11 14:43:39
阅读次数：
688
分布式发布订阅消息系统 Kafka 架构设计转自：http://www.oschina.net/translate/kafka-design我们为什么要搭建该系统Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（p...
分类：
其他好文 时间：
2015-02-11 10:49:57
阅读次数：
353
KAFKA分布式消息系统转自：http://blog.chinaunix.net/uid-20196318-id-2420884.htmlKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击...
分类：
其他好文 时间：
2015-02-11 10:45:49
阅读次数：
160
