注：0.9版本Kafka的一个重大改变就是consumer和producer API的重新设计。这篇Kafka的文档大致介绍了对于consumer API重新设计时想要实现的功能。0.9版本的确实现了这些功能，具体细节有几篇文档讲了，以后会翻译。MotivationWe've received qu...
分类：
其他好文 时间：
2016-01-11 21:56:55
阅读次数：
221
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2016-01-11 17:50:24
阅读次数：
248
对topic增加partition 参考官网site：http://kafka.apache.org/documentation.html#basic_ops_modify_topic 通过kafka-topics.sh工具的alter命令，将replicated-topic的partition.....
分类：
其他好文 时间：
2016-01-11 13:35:31
阅读次数：
327
转自：http://www.aboutyun.com/thread-9216-1-1.html使用Storm处理事务型实时计算需求时的几处难点：http://blog.sina.com.cn/s/blog_6ff05a2c0101ficp.html最近搞日志处理，注意是日志处理，如果用流计算处理一些...
分类：
Web程序 时间：
2016-01-10 22:39:12
阅读次数：
219
http://blog.csdn.net/honglei915/article/details/37760631消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一...
分类：
其他好文 时间：
2016-01-10 18:34:48
阅读次数：
193
Commit LogKafka储存消息的文件被它叫做log，按照Kafka文档的说法是：Each partition is an ordered, immutable sequence of messages that is continually appended to—a commit log这...
分类：
其他好文 时间：
2016-01-10 18:25:29
阅读次数：
613
一、集群安装1. Kafka下载：可以从kafka官方网站（http://kafka.apache.org）上找到下载地址，再wgetwgethttp://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz解压该文件： tar z...
分类：
其他好文 时间：
2016-01-10 17:00:33
阅读次数：
228
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩...
分类：
Web程序 时间：
2016-01-10 10:27:30
阅读次数：
1222
http://blog.talkingdata.net/?p=3165背景当时的现状：开始使用Kafka的时候，使用的版本是0.7.2，当时的目的是为了替代kestrel，主要是使用Kafka来做消息传输中间件。Kafka解决了我们当时使用Kestrel遇到的最大的三个问题：吞吐量、数据量、一份数据...
分类：
其他好文 时间：
2016-01-09 17:03:46
阅读次数：
226
http://www.haokoo.com/internet/2877400.htmlKafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则...
分类：
其他好文 时间：
2016-01-09 16:54:30
阅读次数：
159
