大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于KAFKA的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。 一、写在前面 本来是打算写到消费者模块的时候再详细看一下和写一下rebalance过程，但是前阵子遇到的rebalance的问题比较多，发现自己 ...
分类：
其他好文 时间：
2021-05-24 00:09:26
阅读次数：
0
当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是 ...
分类：
其他好文 时间：
2020-07-18 00:48:57
阅读次数：
97
操作系统版本redhat6.9,数据库版本11.2.0.4； 手工将新增的ASM磁盘添加至ASM磁盘组，发现磁盘组名称写错了！！！如何回退 命令如下 alter diskgroup DATA add disk '/dev/oracleasm/disks/DATA009' rebalance powe ...
分类：
数据库 时间：
2020-07-17 09:16:38
阅读次数：
114
Kafka 2.6引入的新功能：消费者能够主动触发Rebalance。一直以来，Rebalance的触发都是由Coordinator来执行的，但有些场景下消费者端能够主动触发Rebalance会很有必要。举个例子，在ConsumerPartitionAssignor接口中有个subscription ...
分类：
其他好文 时间：
2020-07-10 11:29:50
阅读次数：
135
max.poll.interval.ms参数用于指定consumer两次poll的最大时间间隔（默认5分钟），如果超过了该间隔consumer client会主动向coordinator发起LeaveGroup请求，触发rebalance；然后consumer重新发送JoinGroup请求 示例如下 ...
分类：
其他好文 时间：
2020-06-28 22:18:58
阅读次数：
547
前面说过了consumer心跳机制：consumer定期向coordinator发送心跳请求，以表明自己还在线；如果session.timeout.ms内未发送请求，coordinator认为其不可用，然后触发rebalance session.timeout.ms：coordinator感知con ...
分类：
其他好文 时间：
2020-06-28 18:30:22
阅读次数：
193
在Kafka中，当有新消费者加入或者订阅的topic数发生变化时，会触发Rebalance(再均衡：在同一个消费者组当中，分区的所有权从一个消费者转移到另外一个消费者)机制，Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下： 第一步：所有成员都向coordinator发 ...
分类：
其他好文 时间：
2020-05-26 09:13:35
阅读次数：
98
记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容，文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Message，在V1版本中是如下部分组成，主要关系key和value。 （1）key：当需要将消息写入到某个t ...
分类：
其他好文 时间：
2020-03-22 01:01:11
阅读次数：
82
kafka java 客户端发送请求，大量使用 RequestFuture，因此先说明下该类。 RequestFuture 类的成员属性 listeners 是 RequestFutureListener 的集合，调用 complete 方法，会触发 listener 的 onSuccess 方法。 ...
分类：
其他好文 时间：
2019-10-04 19:21:37
阅读次数：
160
什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition ...
分类：
其他好文 时间：
2019-08-24 19:02:07
阅读次数：
484
