kafka简介 kafka是分布式的消息发布和订阅系统（生产->消费） 特点： 消息持久化：通过o（1）的磁盘数据结构提供数据的持久化（拒绝写入内存操作，直接存入磁盘，小伙伴们都知道写入磁盘会速度会很慢，一定程度上受到了限制，那么kafka是如何操作的呢？kafka通过操作系统的预读、后写的机制进行 ...
分类：
其他好文 时间：
2018-11-15 12:11:06
阅读次数：
204
1.1、什么是消息队列 消息（Message） 是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串、JSON等，也可以很复杂，比如内嵌对象。 消息队列（Message Queue，简称为MQ） 是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管 ...
分类：
其他好文 时间：
2018-11-14 20:54:00
阅读次数：
212
MQTT简介 MQTT是IBM开发的一个即时通讯协议,该协议支持所有的平台,几乎可以把所有联网的物品和外部连接起来,被用来当做传感器和致动器(比如通过Twitter让房屋联网)的通信协议 MQTT的特点: 使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合。这一点很类似于XMPP,但是M ...
分类：
其他好文 时间：
2018-11-14 14:35:30
阅读次数：
154
一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。
分类：
其他好文 时间：
2018-11-10 23:53:56
阅读次数：
231
什么叫消息队列？ 消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管 ...
分类：
其他好文 时间：
2018-10-23 10:54:01
阅读次数：
229
一个典型的Kafka集群中包含若干Producer（可以是web前端FET，或者是服务器日志等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干ConsumerGroup，以及一个Zookeeper集群。Kafka通过Zookeeper管理Kafka集群配置：选举Kafka broker的leader，以及在Consumer Group发生变化时进行rebalance，因为consumer消费kafka topic的partition的offsite信息是存在Zookeeper的。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。
分类：
其他好文 时间：
2018-10-18 17:00:16
阅读次数：
146
一、区分通讯与通信协议：1、传统意义上的“通讯”主要指电话、电报、电传。通讯的“讯”指消息（Message）,媒体讯息通过通讯网络从一端传递到另外一端。媒体讯息的内容主要是话音、文字、图片和视频图像。其网络的构成主要由电子设备系统和无线电系统构成，传输和处理的信号是模拟的。所以，“通讯”一词应特指采 ...
分类：
其他好文 时间：
2018-10-12 14:12:40
阅读次数：
592
1.名称 MQTT kafka 2.历史 IBM推出的一种针对移动终端设备的发布/预订协议。 LinkedIn公司开发的分布式发布-订阅消息系统。后来，成为Apache项目的一部分。 3.原理 基于二进制消息 发布/订阅编程模式的消息协议。 发布/订阅（Publish/Subscribe）模式 4. ...
分类：
其他好文 时间：
2018-10-04 18:59:09
阅读次数：
231
使用RabbitMQ进行消息发布和订阅，生产者将消息发送给转发器（exchange），转发器根据路由键匹配已绑定的消息队列并转发消息，主题模式支持路由键的通配。 生产者代码： 消费者代码： ...
分类：
编程语言 时间：
2018-09-14 16:18:23
阅读次数：
503
1 HyperLogLog HyperLogLog是一种字符串类型的数据结构，一种利用极小的内存完成大量独立用户数据统计，但是存在误差（官方0数字.81%）。 2 发布与订阅 redis 不能做消息队列堆积，就是说最新的订阅者无法收到订阅前的消息 消息队列与发布订阅，消息队列是多个客户端抢消息，发布 ...
分类：
其他好文 时间：
2018-09-06 02:27:51
阅读次数：
146
