一个典型的Kafka集群中包含若干Producer（可以是web前端FET，或者是服务器日志等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干ConsumerGroup，以及一个Zookeeper集群。Kafka通过Zookeeper管理Kafka集群配置：选举Kafka broker的leader，以及在Consumer Group发生变化时进行rebalance，因为consumer消费kafka topic的partition的offsite信息是存在Zookeeper的。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。
分类：
其他好文 时间：
2018-10-18 17:00:16
阅读次数：
146
Apache Pulsar下一代实时消息引擎，基于Apache BookKeeper，以segment为粒度做数据存储，既保证了数据存储的性能，也确保消息数据持久性，架构的弹性伸缩，无论Broker还是Bookie意外退出，都不会让数据访问和一致性出现问题。作为一个消息引擎，它统一了发布 订阅的主题 ...
分类：
其他好文 时间：
2018-10-17 12:17:10
阅读次数：
163
<! TOC "安装activemq" "运行" "springboot使用" "依赖" "配置" "Producer" "Consumer" "ComsumerTopic" "使用" "创建broker" "相关配置文件" "依赖" <! /TOC 安装activemq 运行 springboot ...
分类：
编程语言 时间：
2018-10-13 15:42:11
阅读次数：
187
acl.config文件定义了可订阅$SYS主题的权限。 acl.config文件第三行默认是禁止客户端订阅$SYS/#主题。我们把它注释掉。开启一个客户端，订阅$SYS/#主题，消息如下： module(emqttd_broker)这个模块，它会每秒钟publish消息，主题关键字有uptime和 ...
分类：
其他好文 时间：
2018-10-13 12:07:37
阅读次数：
2780
Python存入kafka报错，ReferenceError: weakly-referenced object no longer exists。 解决办法是加入 producer.stop() 完整代码是： 其中 data是推送到kafka中的数据 ...
分类：
编程语言 时间：
2018-10-08 15:09:04
阅读次数：
638
最近发现了一个连接mqtt broker的软件：MQTTBox。GitHub地址：https://github.com/workswithweb/MQTTBox 官网网站的介绍为：使用MQTTBox增强你的物联网流程 MQTT客户端特性 支持TCP、TLS、Web Sockets和安全的Web So ...
分类：
其他好文 时间：
2018-10-04 12:52:06
阅读次数：
888
broker的主要职责是接受发布者发布的所有消息，并将其过滤后分发给不同的消息订阅者。如今有很多的broker，下面就是一张关于各种broker对比的图片: 在使用mosquitto时，如果想使用集群的话，需要进行二次开发。目前只支持桥接。并且他在遍历时的效率非常低，使得他无法支持大量的客户端或者操 ...
分类：
其他好文 时间：
2018-10-04 11:19:24
阅读次数：
186
支持下国产开源。 MQTT物联网传输控制协议：《MQTT-3.1.1-CN.pdf》 下载：emqttd-centos64-v2.0-rc.2-20161019.zip 安装： $ unzip emqttd-centos64-v2.0-rc.2-20161019.zip -d /data/ $ mv ...
分类：
其他好文 时间：
2018-10-04 11:12:03
阅读次数：
270
在最初状态下，生产者发送消息的时候 (1) 生产者连接到RabbitMQ Broker ， 建立一个连接( Connection) ，开启一个信道(Channel) (2) 生产者声明一个交换器，并设置相关属性，比如交换机类型、是否持久化等 (3) 生产者声明一个队列井设置相关属性，比如是否排他、是 ...
分类：
其他好文 时间：
2018-10-01 16:10:36
阅读次数：
187
上一个章中没有密码设置怎么就能接发消息了？？ 首先activemq中常见的有两种密码：控制台 和 broker 控制台的密码在conf/jetty.xml文件中： <bean id="securityConstraint" class="org.eclipse.jetty.http.security ...
分类：
其他好文 时间：
2018-09-23 11:53:27
阅读次数：
236
