用两台服务器,搭建出一个双master双slave、无单点故障的高可用 RocketMQ 集群。此处假设两台服务器的物理 IP 分别为:192.168.50.1、192.168.50.2。 内容目录 1. 启动 NameServer 集群 2. 启动 Broker 集群 3. RocketMQ 可视 ...
分类:
其他好文 时间:
2019-01-21 20:06:06
阅读次数:
209
内容目录 1. RocketMQ是什么? 2. 下载并解压 3. 启动NameServer 4. 启动 Broker 5. 关闭消息队列 1. RocketMQ是什么? RocketMQ是一种消息队列。何为消息队列?即数据结构中一种“先进先出”的数据结构。在微服务中,分布式消息队列可以解决什么问题? ...
分类:
其他好文 时间:
2019-01-21 00:32:03
阅读次数:
331
什么是Celery呢? Celery是一个用Python开发的异步的分布式任务调度模块。 Celery本身不包含消息服务,使用第三方消息服务,也就是Broker,来传递任务,目前支持的有Rebbimq,Redis,数据库以及其他的一些比如Amazon SQS,Monogdb和IronMQ 。 Cel ...
分类:
其他好文 时间:
2019-01-20 22:07:18
阅读次数:
219
AdminClient 类提供了创建 topic,删除 topic 的 api。 在项目中创建了一个 AdminClient 对象,每次创建 topic 时,调用 如果长时间不使用这个对象,客户端与 broker 之间的连接会被关掉,相关的参数: 这个最大空闲参数在 broker 和 客户端都可以配 ...
分类:
其他好文 时间:
2019-01-18 19:56:22
阅读次数:
514
kafka集群扩容后的topic分区迁移 ./bin/kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --alter --topic dftt --partitions 4 kafka集群扩容后,新的broker上面不会数据进 ...
分类:
其他好文 时间:
2019-01-17 16:52:00
阅读次数:
253
kafka 的心跳是 kafka consumer 和 broker 之间的健康检查,只有当 broker coordinator 正常时,consumer 才会发送心跳。 consumer 和 reblance 相关的 2 个配置参数: broker 端,sessionTimeoutMs 参数 b ...
分类:
其他好文 时间:
2019-01-17 15:17:01
阅读次数:
1337
介绍 RabbitMQ 是一个消息中间人(broker): 它接收并且发送消息. 你可以把它想象成一个邮局: 当你把想要寄出的信放到邮筒里时, 你可以确定邮递员会把信件送到收信人那里. 在这个比喻中, RabbitMQ 就是一个邮筒, 同时也是邮局和邮递员 . 和邮局的主要不同点在于RabbitMQ ...
分类:
编程语言 时间:
2019-01-17 12:54:36
阅读次数:
244
RabbitMQ是一个开源的消息代理和队列服务器,用来通过普通协议在完全不同的应用之间传递数据,RabbitMQ是使用Erlang语言来编写的,并且RabbitMQ是基于AMQP协议的。 特点: AMQP核心概念 Server:又称Broker,接收客户端的连接,实现AMQP实体服务 Connect ...
分类:
其他好文 时间:
2019-01-15 16:59:41
阅读次数:
168
今天遇到一个情况使用了 Kafka-python 1.3.3 来操作读取 broker 1.0.1 版本的 kafka。出现了 rebalance 之后分配到了客户端,但是 cpu 利用率很高且无法消费的情况。 先是排查了连接方面和代码方面的问题,后来发现都没有问题就把注意力转移到了 kafka-c ...
分类:
编程语言 时间:
2019-01-14 14:39:15
阅读次数:
755
基本配置如下:-broker.id-log.dirs-zookeeper.connectTopic-level配置以及其默认值将在下面讨论。 Property Default Description broker.id 每个broker都可以用一个唯一的非负整数id进行标识;这个id可以作为brok ...
分类:
其他好文 时间:
2019-01-07 21:19:08
阅读次数:
342