一、原理介绍本文内容参考：https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts（一）使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时，需要...
分类：
其他好文 时间：
2015-07-10 22:02:17
阅读次数：
184
一、理论介绍（一）相关资料1、官方资料，非常详细： http://kafka.apache.org/documentation.html#quickstart2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视： http://www.linuxidc....
分类：
其他好文 时间：
2015-07-10 22:00:53
阅读次数：
298
一、原理介绍本文内容参考：https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts（一）使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时，需要...
分类：
其他好文 时间：
2015-07-10 11:10:18
阅读次数：
2999
一、理论介绍（一）相关资料1、官方资料，非常详细： http://kafka.apache.org/documentation.html#quickstart2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视： http://www.linuxidc....
分类：
其他好文 时间：
2015-07-10 10:47:31
阅读次数：
139
1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费 .....
分类：
其他好文 时间：
2015-07-09 12:59:06
阅读次数：
172
1、源码下载：我用的是1.6版，因为加了kafka-sink，下载地址http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-src.tar.gz2、解压缩至C盘根目录下建议放到这个目录下，其他目录并不能保证通过。3、运...
分类：
Web程序 时间：
2015-07-09 00:29:49
阅读次数：
192
kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。strings 命令可以过滤掉二进制编码，但默认它也会过滤掉中文字符，只留有英文...
分类：
其他好文 时间：
2015-07-08 10:51:10
阅读次数：
150
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供...
分类：
其他好文 时间：
2015-07-07 19:16:09
阅读次数：
169
【http://www.inter12.org/archives/818】这个应该算是之前比较火热的词了，一直没时间抽出来看看。一个新东西出来，肯定是为了解决某些问题，不然不会有它的市场。先简单看下。官方介绍：分布式、分区、支持复制的日志提交系统适用场景：顾名思义，特别适合用于系统日志的异步记录，对...
分类：
其他好文 时间：
2015-07-07 19:03:13
阅读次数：
115
【http://www.infoq.com/cn/articles/apache-kafka/】分布式发布-订阅消息系统。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展...
分类：
Web程序 时间：
2015-07-07 18:56:15
阅读次数：
133
