Kafka 2.6引入的新功能：消费者能够主动触发Rebalance。一直以来，Rebalance的触发都是由Coordinator来执行的，但有些场景下消费者端能够主动触发Rebalance会很有必要。举个例子，在ConsumerPartitionAssignor接口中有个subscription ...
分类：
其他好文 时间：
2020-07-10 11:29:50
阅读次数：
135
Kafka监控安装Kafka集群监控方案选择：Kafka只能依靠kafka-run-class.sh等命令进行管理KafkaManager（CMAK）是目前比较常用的监控工具，它有如下功能：管理多个集群轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）运行首选副本选举使用选项生成分区分配以选择要使用的代理运行分区重新分配（基于生成的分配）使用可选主题配置创建主题（0.8.1.1具有与
分类：
其他好文 时间：
2020-07-10 09:39:18
阅读次数：
259
CentOS7 安装Kafka 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 安装JDK yum install -y http://172.16.20.10/Oracle/JAVA/8/8u20 ...
分类：
其他好文 时间：
2020-07-09 15:30:49
阅读次数：
140
近日，阿里云微服务引擎MSE重磅发布2.0版本，在原有注册中心托管的基础上，上线配置中心托管功能，同时实现了0代码改动，就能接入微服务治理能力，并兼容Spring Cloud 和Dubbo 近5年的所有开源版本，提升管理效率，降低运维难度。
分类：
系统相关 时间：
2020-07-09 09:29:45
阅读次数：
104
前言 RabbitMQ？”“Kafka？”“RocketMQ？”...在日常学习与开发过程中，我们常常听到消息队列这个关键词。我也在我的多篇文章中提到了这个概念。可能你是熟练使用消息队列的老手，又或者你是不懂消息队列的新手，不论你了不了解消息队列，本文都将带你搞懂消息队列的一些基本理论。如果你是老手 ...
分类：
其他好文 时间：
2020-07-09 00:56:32
阅读次数：
124
认识Kafka 花费越少的精力在数据移动上，就能越专注于核心业务 《Kafka：The Definitive Guide》 认识 Kafka 之前，先了解一下发布与订阅消息系统：消息的发送者不会直接把消息发送给接收者、发送者以某种方式对消息进行分类，接收者订阅它们，以便能接受特定类型的消息。发布与订 ...
分类：
其他好文 时间：
2020-07-08 23:21:58
阅读次数：
80
Kafka消费者Demo 依赖包： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version> </dependency> 源码： p ...
分类：
其他好文 时间：
2020-07-08 18:11:21
阅读次数：
45
一.简单实现 需求：根据 flume 监控 exec 文件的追加数据，写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1）flume的配置文件 在hadoop102上创建flume的配置文件 # define a ...
分类：
Web程序 时间：
2020-07-07 23:22:58
阅读次数：
79
查看防火墙状态 firewall-cmd --state 开放端口 firewall-cmd --zone=public --add-port=2181/tcp --permanent firewall-cmd --zone=public --add-port=9092/tcp --permanen ...
分类：
其他好文 时间：
2020-07-07 17:40:16
阅读次数：
62
为什么需要消息队列 周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了…… 第二天正常上着班，突然接到 ...
分类：
其他好文 时间：
2020-07-07 16:05:41
阅读次数：
53
