Trident主要有5类操作：1、作用在本地的操作，不产生网络传输。2、对数据流的重分布，不改变流的内容，但是产生网络传输。3、聚合操作，有可能产生网络传输。4、作用在分组流（grouped streams）上的操作。5、Merge和join
分类：
其他好文 时间：
2014-11-23 23:06:46
阅读次数：
208
数据流分流和合并数据流经常需要分流与合并操作，如下图所示：分流分流有2钟情况，第一种是，相同的tuple发往下一级不同的bolt， 第二种，分别发送不同的tuple到不同的下级bolt上。发送相同tuple其实和普通1v1 发送一模一样，就是有2个或多个bolt接收同一个spout或bolt的数据 ...
分类：
其他好文 时间：
2014-11-23 22:59:44
阅读次数：
4962
broker.id整数，建议根据ip区分 log.dirskafka存放消息文件的路径，默认/tmp/kafka-logsportbroker用于接收producer消息的端口 zookeeper.connnectzookeeper连接格式为 ip1:port,ip2:port,ip3:portme...
分类：
其他好文 时间：
2014-11-23 14:25:35
阅读次数：
210
原文链接：http://blog.csdn.net/hguisu/article/details/8454368简单和明了，Storm让大数据分析变得轻松加愉快。当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商...
分类：
其他好文 时间：
2014-11-19 20:28:26
阅读次数：
425
http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注...
分类：
Web程序 时间：
2014-11-19 10:32:28
阅读次数：
345
Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。...
分类：
其他好文 时间：
2014-11-19 01:40:39
阅读次数：
364
本文内容目录ji
1）apache kafka消息服务
2）kafka在zookeeper中存储结构
3）kafka log4j配置
4）kafka replication设计机制
5）apache kafka监控系列-监控指标
6）kafka.common.ConsumerRebalanceFailedException异常解决办法
7）kafak安装与使用
8）apache k...
分类：
Web程序 时间：
2014-11-19 01:36:35
阅读次数：
3557
1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自：https://git...
分类：
其他好文 时间：
2014-11-18 13:09:04
阅读次数：
216
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
