本文主要介绍如何在单节点上安装 Kafka 并测试 broker、producer 和 consumer 功能。 下载 进入下载页面:http://kafka.apache.org/downloads.html ,选择 Binary downloads下载 (Source download需要编译才 ...
分类:
其他好文 时间:
2017-01-19 14:28:18
阅读次数:
248
Kafka是一个分布式的发布/订阅消息系统。 1、producer和consumer是kafka的概念,发送消息到“topic”的就是“producer”;订阅“topic”和处理“feeds of message” 的就叫“consumer”; 2、broker是kafka集群上的服务器,每一个k ...
分类:
其他好文 时间:
2017-01-19 00:49:02
阅读次数:
158
1. 简介 RabbitMQ是流行的开源消息队列系统,用erlang语言开发。RabbitMQ是AMQP(高级消息队列协议)的标准实现。如果不熟悉AMQP,直接看RabbitMQ的文档会比较困难。不过它也只有几个关键概念,这里简单介绍一下 Broker:简单来说就是消息队列服务器实体。 Exchan ...
分类:
其他好文 时间:
2017-01-17 20:15:26
阅读次数:
352
AMQP AMQP协议是一个高级抽象层消息通信协议,RabbitMQ是AMQP协议的实现。它主要包括以下组件: 1.Server(broker): 接受客户端连接,实现AMQP消息队列和路由功能的进程。 2.Virtual Host:其实是一个虚拟概念,类似于权限控制组,一个Virtual Host ...
分类:
其他好文 时间:
2017-01-15 21:23:43
阅读次数:
281
在前面的文章中提到了queue和consumer之间的消息确认机制:通过设置ack。那么Publisher能不到知道他post的Message有没有到达queue,甚至更近一步,是否被某个Consumer处理呢?毕竟对于一些非常重要的数据,可能Publisher需要确认某个消息已经被正确处理。 在我 ...
分类:
其他好文 时间:
2017-01-15 20:18:47
阅读次数:
183
kafka是linkedin用于日志处理的分布式消息队列, 同时支持离线和在线日志处理。 kafka对消息保存时根据Topic进行归类, 发送消息者成为 Producer,消息接受者成为 Consumer,此外 kafka 集群有多个kafka实例组成, 每个实例(server)称为broker。 ...
分类:
其他好文 时间:
2017-01-14 21:01:10
阅读次数:
237
Kafka 高可用设计 2016-02-28 杜亦舒 Kafka在早期版本中,并不提供高可用机制,一旦某个Broker宕机,其上所有Partition都无法继续提供服务,甚至发生数据丢失对于分布式系统,当集群规模上升到一定程度后,宕机的可能性大大提高,对高可用性就有了非常高要求Kafka在0.8版本 ...
分类:
其他好文 时间:
2017-01-08 03:59:31
阅读次数:
282
转载:http://blog.csdn.net/lifetragedy/article/details/51869032 ActiveMQ的集群 内嵌代理所引发的问题: 消息过载 管理混乱 如何解决这些问题——集群的两种方式: Master slave Broker clusters ActiveM ...
分类:
其他好文 时间:
2016-12-22 11:24:01
阅读次数:
395
1、配置文件visetting.py#coding:utf-8
importos
fromdatetimeimporttimedelta
BROKER_URL=‘redis://127.0.0.1:6379/13‘
CELERY_RESULT_BACKEND=‘redis://127.0.0.1:6379/14‘
CELERY_TIMEZONE=‘Asia/Shanghai‘
CELERY_ENABLE_UTC=True
CELERY_TASK_SERIALIZER=‘json‘#任务序列..
分类:
其他好文 时间:
2016-12-19 00:33:11
阅读次数:
230
Introduction RabbitMQ is a message broker. The principal idea is pretty simple: it accepts and forwards messages. You can think about it as a post off ...
分类:
其他好文 时间:
2016-12-16 09:49:15
阅读次数:
282