Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面...
分类：
其他好文 时间：
2015-04-18 11:31:29
阅读次数：
141
Kafka允许topic的分区拥有若干副本，这个数量是可以配置的，你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据，所以当一个节点down掉时数据依然是可用的。Kafka的副本功能不是必须的，你可以配置只有一个副本，这样其实就相当于只有一份数据。创建副本的单位是topic...
分类：
其他好文 时间：
2015-04-18 11:29:58
阅读次数：
113
Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发。为了帮助producer做到这点，所有的Kafka节点都可以及时的告知:哪些节点是活动的，目标topic目标分区的leader在哪。这样producer就可以直接将消息...
分类：
其他好文 时间：
2015-04-18 11:29:11
阅读次数：
135
之前讨论了consumer和producer是怎么工作的，现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别：最多一次:消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次:消息不会被漏发送，最少被传输一次，但也有可能被重复传输.精确的一次（Exactly once）:不...
分类：
其他好文 时间：
2015-04-18 11:23:17
阅读次数：
127
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并...
分类：
其他好文 时间：
2015-04-18 11:23:10
阅读次数：
115
Kafka Producer APIs旧版的Procuder API有两种：kafka.producer.SyncProducer和kafka.producer.async.AsyncProducer.它们都实现了同一个接口：[java]view plaincopyclassProducer{/*将...
原文来自（http://kafka.apache.org/documentation.html）本文只做简单的翻译，水平有限，仅供学习交流使用如有错误，欢迎点评指正1准备开始1.1 介绍kafka是一个分布式的，分区的，复用的日志提交服务。它以一种独特的设计方式提供消息传递系统的功能。首先让我们回顾...
分类：
其他好文 时间：
2015-04-17 15:27:24
阅读次数：
212
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:53:54
阅读次数：
174
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:51:53
阅读次数：
161
《Windows Azure Platform 系列文章目录》 在笔者之前的文章中Windows Azure Service Bus (1) 基础 介绍了Service Bus支持主题(Topic)。如下图： 当2个客户端同时订阅了相同的主题(Topic)。当向这个Topic发送消息的...
