二、Celery基本使用 创建一个celery application 用来定义你的任务列表，创建一个任务文件就叫tasks.py吧 from celery import Celery # 配置好celery的backend和broker app = Celery('task1', backend= ...
分类：
编程语言 时间：
2019-12-13 17:54:40
阅读次数：
172
高性能 存储原理 零拷贝 数据结构与存储逻辑 刷盘策略 长轮询PULL RocketMQ的Consumer都是从Broker拉消息来消费，但是为了能做到实时收消息，RocketMQ使用长轮询方式，可以保证消息实时性同Push方式一致。 这里需要注意的是，长轮询与长连接是两个不同的概念。长轮询表示，当 ...
分类：
其他好文 时间：
2019-12-10 20:59:22
阅读次数：
104
官网： https://docs.emqx.io/broker/v3/cn/getstarted.html#mqtt-clients 一、安装启动 # 各平台下载https://www.emqx.io/downloads/broker?osType=Linux # 解压（例子linux） ， win ...
分类：
其他好文 时间：
2019-12-09 21:39:31
阅读次数：
2476
RocketMQ是我们常用的消息中间件，在运行单元测试时，我们可能不需要真正发送消息（除非是为了测试发送消息），也不想因为连结不上RocketMQ的Broker,NameServer而影响单元测试运行。 那我们该如何Mock RocketMQ消息生产者呢？ 请看例子： 1 2 3 4 5 6 7 8 ...
分类：
其他好文 时间：
2019-12-09 19:42:10
阅读次数：
100
首先解释下consumeQueue，由于commit-log是根据消息先后存储的，而我们消费的时候是根据topic来筛选的，所以需要一个队列根据topic来划分，所以consumeQueue就是干这个事情的。而indexfile顾名思义就是索引文件，用来做单纯查询的。 private final C ...
分类：
其他好文 时间：
2019-12-08 22:51:24
阅读次数：
69
如果一个broker正常退出，是会删除abort文件的。那么启动broker的时候发现abort文件还存在，那么说明上次是异常终止，会进入到commit-log的recoverAbnormally逻辑里面，因为所有其他的信息都是从commit-log获取到的，所以追根溯源只能从commit-log开 ...
分类：
其他好文 时间：
2019-12-08 22:49:36
阅读次数：
182
[toc] Kafka生产者端 可靠性保证： producer向broker发送消息数据，需要有一定的可靠性，至少要保证数据： 1、不丢失 2、不重复 producer提供了一些参数，在编写producer是进行合理设置和编写，就可以保证数据的可靠性。 acks 参数配置 为保证producer发送 ...
分类：
编程语言 时间：
2019-12-07 23:16:20
阅读次数：
165
[toc] bootstrap.servers broker集群地址，格式：ip1:port,ip2:port...，不需要设定全部的集群地址，设置两个或者两个以上即可。 group.id 消费者隶属的消费者组名称，如果为空会报异常，一般而言，这个参数要有一定的业务意义。 fetch.min.byt ...
分类：
其他好文 时间：
2019-12-07 16:41:02
阅读次数：
543
zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。 而且，这也是面试时经常问的。 zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper ...
分类：
其他好文 时间：
2019-12-07 10:23:23
阅读次数：
111
broker 把消息写入 commitLog 后，还需要把消息的索引写入 consumeQueue 文件 和 indexFile 文件 consumeQueue 文件，一个 entry 20 字节，8 + 4 + 8，8 字节 commitLog offset，4 字节消息 size，8 字节 ta ...
分类：
其他好文 时间：
2019-12-06 11:18:52
阅读次数：
166
