1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费 .....
分类：
其他好文 时间：
2015-07-09 12:59:06
阅读次数：
172
1、源码下载：我用的是1.6版，因为加了kafka-sink，下载地址http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-src.tar.gz2、解压缩至C盘根目录下建议放到这个目录下，其他目录并不能保证通过。3、运...
分类：
Web程序 时间：
2015-07-09 00:29:49
阅读次数：
192
kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。strings 命令可以过滤掉二进制编码，但默认它也会过滤掉中文字符，只留有英文...
分类：
其他好文 时间：
2015-07-08 10:51:10
阅读次数：
150
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供...
分类：
其他好文 时间：
2015-07-07 19:16:09
阅读次数：
169
【http://www.inter12.org/archives/818】这个应该算是之前比较火热的词了，一直没时间抽出来看看。一个新东西出来，肯定是为了解决某些问题，不然不会有它的市场。先简单看下。官方介绍：分布式、分区、支持复制的日志提交系统适用场景：顾名思义，特别适合用于系统日志的异步记录，对...
分类：
其他好文 时间：
2015-07-07 19:03:13
阅读次数：
115
【http://www.infoq.com/cn/articles/apache-kafka/】分布式发布-订阅消息系统。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展...
分类：
Web程序 时间：
2015-07-07 18:56:15
阅读次数：
133
1.topic注册信息/brokers/topics/[topic] :存储某个topic的partitions所有分配信息Schema:{ "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组br...
分类：
其他好文 时间：
2015-07-07 12:47:49
阅读次数：
209
1：kafka-topics.sh（如果没有返回信息，说明命令无效）创建一个top名字：gbz4，zookeeper地址：本机，两个分区，两个副本./bin/kafka-topics.sh -create --topic 'gbz4' --zookeeper '127.0.0.1' --partit...
分类：
其他好文 时间：
2015-07-07 12:25:30
阅读次数：
147
一个、整体外观Kafka我们知道。Kafka系统有三大组件：Producer、Consumer、broker 。producers 生产(produce)消息(message)并推(push)送给brokers，consumers从brokers把消息提取(pull)出来消费(consume)。二、...
分类：
其他好文 时间：
2015-07-05 09:28:08
阅读次数：
158
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。...
分类：
其他好文 时间：
2015-07-03 17:35:04
阅读次数：
284
