admin包定义了命令行的一些实现一、AdminOperationException.scala一个异常类，表示执行admin命令时候抛出的异常二、AdminUtils.scalaadmin一些常用工具方法：1. assignReplicasToBrokers：负责分配副本到不同的broker上。主...
分类：
其他好文 时间：
2015-06-11 16:20:59
阅读次数：
123
本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。...
分类：
其他好文 时间：
2015-06-09 12:01:25
阅读次数：
124
1.Kafka基本术语 Producer ：消息生产者，就是向kafka broker发消息的客户端 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：话题，可以理解为一个队列 Consumer Group （CG）：这是kafka用来实现...
分类：
其他好文 时间：
2015-06-07 01:08:37
阅读次数：
125
十四、AbstractFetcherManager.scala该scala定义了两个case类和一个抽象类。两个case类很简单：1. BrokerAndFectherId：封装了一个broker和一个fetcher的数据结构2. BrokerAndInitialOffset：封装了broker和初...
分类：
其他好文 时间：
2015-06-02 10:51:12
阅读次数：
135
1、Configuration Celery，作为一个consumer工具不需要太多的操作。它有输入和输出通道，通过输入通道连接到broker（如AMQP服务Channel）或者通过输出通道连接到结果的backend（用于获取结果，不是必须的，因为有...
分类：
编程语言 时间：
2015-05-28 09:45:11
阅读次数：
841
这个是Kafka server的核心包，里面的类也很多，我们还是一个一个分析一、BrokerStates.scala定义了目前一个kafka broker的7中状态 ——1. NotRunning：未运行2. Starting：启动中3. RecoveringFromUncleanShutdown：...
分类：
其他好文 时间：
2015-05-28 09:26:17
阅读次数：
4713
摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系....
分类：
其他好文 时间：
2015-05-27 15:23:04
阅读次数：
132
1.ProducerRecord 含义:发送给Kafka Broker的key/value值对2.内部数据结构：-- Topic（名字）-- PartitionID (可选)-- Key[(可选)-- Value3.生产者记录（简称PR）的发送逻辑: 若指定Partition ID,则PR被发送至指...
分类：
其他好文 时间：
2015-05-25 18:07:47
阅读次数：
208
Celery?（芹菜）是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器／进程／线程上执行任务调度。 架构设计 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（wor...
分类：
编程语言 时间：
2015-05-20 18:53:15
阅读次数：
158
kafka简介Kafka由linkedln开发，主要用于处理linkedln的大面积的活跃数据流（active stream）。此类数据经常用于反应网站的一些有用信息，如uv或pv。它是一个分布式的消息发布和订阅系统，由producer发布，broker存储、consusmer消费组成。安装为分布式...
分类：
其他好文 时间：
2015-05-20 02:04:41
阅读次数：
236
