名词： commitLog : 消息存储的地方，持久化到磁盘中，保存着生产者发送的完整消息。 consumerqueue: 逻辑消费队列，每一个队列中维护着commitLog 文件中的消息偏移量进行消费。 index: 索引文件。 初始化： 在Broker 启动的时候，org.apache.rock ...
分类：
其他好文 时间：
2020-06-26 21:48:18
阅读次数：
63
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
Kafka-分区分配规则 kafka的基本存储单元是分区。分区无法在多个broker间进行再细分，也无法在同一个broker的多个磁盘上进行再细分。所以，分区的大小受到单个挂载点可用空间的限制。 在配置kafka的时候，使用log.dirs参数来配置用于存储分区的目录清单。 分区分配 在创建主题时， ...
分类：
其他好文 时间：
2020-06-23 22:53:00
阅读次数：
73
1.什么是Celery? Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ / backend 用于存储任务执行结果的 3.员工 worke ...
分类：
其他好文 时间：
2020-06-23 21:44:42
阅读次数：
72
$ cat -n config/server.properties broker.id=0 // broker ID, 集群模式下该ID必须唯一，且永恒不变 listeners=PLAINTEXT://your_host_name:9092 // 配置你的应用所在IP地址，我理解为访问白名单配置 z ...
分类：
其他好文 时间：
2020-06-21 19:35:58
阅读次数：
133
一、架构简述 RocketMQ阿里开源的一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性， 万亿级容量和灵活的可伸缩性。跟其它中间件相比，RocketMQ的特点是纯JAVA实现,在发生宕机和其它故障时消息丢失率更低。 它由四个部分组成：nameserver，broker，生产者和消费者。它 ...
分类：
其他好文 时间：
2020-06-21 15:31:30
阅读次数：
60
1.下载安装包 http://archive.apache.org/dist/activemq/activemq-apollo/1.7.1/ 2.解压安装包 apollo中间件其实是免安装的，我们只需要下载apache-apollo-1.7.1-windows-distro.zip,然后解压到某个文 ...
分类：
其他好文 时间：
2020-06-21 14:16:58
阅读次数：
318
kafka 非常难，难在 broker 有角色之分，controller 起控制作用，难在副本有角色之分，leader 提供读写服务，所以 broker 会有状态的切换，副本也有状态的切换。 从一个具体的场景切入，4 节点集群(b1, b2, b3, b4)，存在 1 个分区 tp0 分布在 (b1 ...
分类：
其他好文 时间：
2020-06-21 00:49:58
阅读次数：
77
RabbitMQ分布式部署有3种方式：集群、Federation和Shovel。这三种方式并不是互斥的，可以根据需求选择相互组合来达到目的，后两者都是以插件的形式进行设计，复杂性相对高，此篇只聊一下RabbitMQ自带的内建集群。 ? 我们把部署RabbitMQ的机器称为节点，也就是broker。b ...
分类：
其他好文 时间：
2020-06-21 00:32:47
阅读次数：
96
编写了MQTT客户端程序，如何验证呢？本文介绍一种简单方便的方法。 需要准备的： 1，JAVA环境，安装JDK1.8(注意：用新版的JDK14.1会报错，估计是兼容性问题，最好用老点的版本，我用的是1.8测试通过) 2，添加环境变量 3， apache-apollo-1.7.1 ，下载网址：http ...
分类：
Web程序 时间：
2020-06-20 00:43:18
阅读次数：
106
