简介 Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统，它不仅支持实时处理也支持任务调度。 user：用户程序，用于告知celery去执行一个任务。 broker: 存放任务（依赖RabbitMQ或Redis，进行存储） worker：执行任务 celery需要rabb ...
分类：
其他好文 时间：
2019-01-04 22:36:33
阅读次数：
190
1.消费语义的介绍 atlastonce：至少消费一次（对一条消息有可能多次消费，有可能会造成重复消费数据） 原因：Proudcer产生数据的时候，已经写入在broker中，但是由于broker的网络异常，没有返回ACK，这时Producer,认为数据没有写入成功，此时producer会再次写入，相当于一条数据，被写入了多次。 &e
分类：
其他好文 时间：
2018-12-31 10:22:54
阅读次数：
215
1.Kafka的经典架构 Kafka是LinkedIn用于日志处理的分布式消息队列，同时支持离线和在线日志处理。 Kafka对消息保存时根据Topic进行归类。 发送消息者就是Producer，消息的发布描述为Producer 消息接受者就是Consumer，消息的订阅描述为Consumer 每个Kafka实例称为Broker，将中间的存储阵列称作
分类：
其他好文 时间：
2018-12-30 22:03:15
阅读次数：
208
摘自： 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker 启动的时候，它通过创建临时节点把自己的ID 注册到Zookeeper 。Kafka 组件订 ...
分类：
其他好文 时间：
2018-12-29 15:18:04
阅读次数：
163
如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化queue中的时候）。可以将所有message都设置为持久化，并且使用持久化的queue，但是这样仍然无法避免由于缓存导致的问题：因为message在发送之后和被写入磁盘并执行fsync之间存在一个虽然短暂但是会产生问题的时
分类：
其他好文 时间：
2018-12-28 15:29:12
阅读次数：
213
代理模式的定义：为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个对象不适合或者不能直接引用另一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。代理模式可以分为两种，一种是静态代理，一种是动态代理。 静态代理采用的方式就是我们手动的将这些行为换进去，然后让编译器帮我们编译， ...
分类：
其他好文 时间：
2018-12-28 13:35:41
阅读次数：
191
如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化queue中的时候）。可以将所有message都设置为持久化，并且使用持久化的queue，但是这样仍然无法避免由于缓存导致的 ...
分类：
其他好文 时间：
2018-12-28 11:38:38
阅读次数：
315
一.概念说明Broker：简单来说就是消息队列服务器实体。Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。Queue：消息队列载体，每个消息都会被投入到一个或多个队列。Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。RoutingKey：路由关键字，exchange根据这个关键字进行消息投递。vhost：虚拟主机，一个broker里可以开设
分类：
编程语言 时间：
2018-12-23 11:27:05
阅读次数：
207
vernemq 是一款开源的mqtt broker， 支持cluster 模式部署，而且部署比较简单 以下是一个使用docker-compose 搭建环境的demo 环境准备 docker-compose 文件 version: "3" services: init: image: erlio/do ...
分类：
其他好文 时间：
2018-12-22 22:10:18
阅读次数：
565
hermes 与nakadi 是类似的工具，但是设计模型有很大的差异，hermes 使用的是webhook的模式（push） nakadi 使用的是pull（event stream），各有自己解决的问题，但是从设计上nakadi更灵活 参考架构图比较 nakadi： hermes： 参考资料 ht ...
