kafka集群部署方案ZooKeeper第一步主机名称到IP地址映射配置ZooKeeper集群中具有两个关键的角色Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务集群中每个结点之间都互相连接所以在配置的ZooKeeper集群的时候每一个结点的host到IP地址的映射都要配置上集..
分类：
其他好文 时间：
2015-12-23 16:23:08
阅读次数：
393
Purgatory是Kafka server中处理请求时使用的一个重要的数据结构。正好研究ReplicaManager源码的时候发现了这篇文章，顺便翻译下。由于这个proposal里的很多东西需要看源码才能理解得比较清楚，但是代码还是比较多的，所以先大概讲一下其中的一些概念和原理，以便于阅读接下来的...
分类：
其他好文 时间：
2015-12-21 23:42:20
阅读次数：
341
摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与R....
分类：
其他好文 时间：
2015-12-18 18:58:59
阅读次数：
240
本文已授权InfoQ独家发表，如需转载请注明出处并与InfoQ中文站联系。InfoQ首发地址为http://www.infoq.com/cn/articles/kafka-analysis-part-2摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或.....
分类：
其他好文 时间：
2015-12-18 18:34:22
阅读次数：
277
This value controls when a produce request is considered completed. Specifically, how many other brokers must have committed the data to their log and...
分类：
其他好文 时间：
2015-12-18 14:36:20
阅读次数：
246
DelayedOperation包括两种：DelayedFetch和DelayedProduce，它们的存在是由Kafka Protocol决定的，而Kafka Protocol是由实际需求决定的……存在DelayedFetch是为了更有效率的fetch，也就是batch fetch；存在Delay...
分类：
其他好文 时间：
2015-12-17 22:32:59
阅读次数：
261
之前讨论了consumer和producer是怎么工作的，现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别：最多一次:消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次:消息不会被漏发送，最少被传输一次，但也有可能被重复传输.精确的一次（Exactly once）:不...
分类：
其他好文 时间：
2015-12-17 12:28:25
阅读次数：
133
Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发。为了帮助producer做到这点，所有的Kafka节点都可以及时的告知:哪些节点是活动的，目标topic目标分区的leader在哪。这样producer就可以直接将消息...
分类：
其他好文 时间：
2015-12-17 12:21:51
阅读次数：
146
上篇文章中我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topic，发送和接收消息。下面我们来搭建kafka的开发环境。添加依赖搭建开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用...
分类：
其他好文 时间：
2015-12-17 12:18:23
阅读次数：
238
不要畏惧文件系统!Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是60...
分类：
其他好文 时间：
2015-12-17 12:15:21
阅读次数：
157
