今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡： 今天检查 kafka manager 发现了一个 __consumer_offsets 主题（消费者分区位移保存主题）的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布 ...
分类：
其他好文 时间：
2020-01-09 18:39:38
阅读次数：
83
温馨提示：本文基于 Kafka 2.2.1 版本。 上文 "《源码分析 Kafka 消息发送流程》" 已经详细介绍了 KafkaProducer send 方法的流程，该方法只是将消息追加到 KafKaProducer 的缓存中，并未真正的向 broker 发送消息，本文将来探讨 Kafka 的 S ...
分类：
编程语言 时间：
2020-01-08 21:24:40
阅读次数：
215
1、创建集群 http://kafka.apache.org/documentation/#quickstart 有一句我觉得特别重要： For Kafka, a single broker is just a cluster of size one. 1.1、命令行操作 #解压文件 tar -zx ...
分类：
编程语言 时间：
2020-01-08 12:49:43
阅读次数：
100
Switchover，无损切换，通常是用户手动触发或者有计划地让其自动触发，如硬件升级等。 步骤： 1、Primary数据库转换为StandBy角色 2、StandBy数据库（之一）转换为Primary角色 准备工作： 1、检查待转换角色的数据库参数配置正确 2、检查即将成为Primay的物理Sta ...
分类：
数据库 时间：
2020-01-06 21:12:13
阅读次数：
108
一、参数说明 [1] db_file_name_convert db_file_name_convert 主数据库和备用数据库的数据文件转换目录对映（如果两数据库的目录结构不一样），如果有多个对映，逐一指明对映关系。 格式： *.db_file_name_convert= 主数据库数据文件目录，备用 ...
分类：
数据库 时间：
2020-01-06 20:57:35
阅读次数：
90
Celery 1.Celery是什么 Celery 一个懂得 异步任务 , 定时任务 , 周期任务 的芹菜 Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ / ...
分类：
其他好文 时间：
2020-01-04 00:54:29
阅读次数：
65
1.原理图： 2.设计实现思路： 1.生产者（发送方）投递事务消息到Broker中，设置该消息为半消息 不可以被消费； 2.开始执行我们的本地事务，将本地事务执行的结果（回滚或者提交）发送给Broker； 3.Broker获取回滚或者提交，如果是回滚的情况则删除该消息、如果是提交的话，该消息就可以被 ...
分类：
其他好文 时间：
2020-01-03 10:39:00
阅读次数：
486
kafka是一个高吞吐量,低延迟分布式的消息队列系统.kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒 一. kafka模型 kafka提供了一个生产者,缓冲区,消费者的模型 1.1 模型分析 broker:kafka集群有多个broker服务器组成,用于存储数据(消息) topic:不同 ...
分类：
其他好文 时间：
2019-12-30 14:34:06
阅读次数：
78
使用RocketMQ发送消息抛出异常，异常如下： 原因： Broker 禁止自动创建Topic，且用户没有通过手动创建此Topic，或者broker 和 Nameserver网络不同； 解决方案： 1. 修改broker.properties配置，自动创建topic，添加如下： autoCreate ...
分类：
Web程序 时间：
2019-12-29 16:41:22
阅读次数：
632
了解详细内容参见文档：https://docs.emqx.io/broker/v3/cn/getstarted.html 本文介绍一种简单的安装启动 这里提供一个下载地址(也可以到官网下载)：https://pan.baidu.com/s/1oTGEHceQ-nvkKCPBf5O_GQ 将这个zip ...
分类：
其他好文 时间：
2019-12-27 16:47:47
阅读次数：
244
