常见的消息中间件产品: （1）ActiveMQ ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。 （2）RabbitMQ AMQP协议的领导实现，支持多种场景。淘宝的MySQL ...
分类：
编程语言 时间：
2019-12-11 18:46:37
阅读次数：
89
1. 客户端认证 如果kafka客户端是认证的，那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。 对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量，单位为byte/sec。cons ...
分类：
其他好文 时间：
2019-12-11 12:53:34
阅读次数：
219
RabbitMQ 简介 RabbitMQ 是什么 RabbitMQ 是一个用 Erlang 编写的开源的消息队列中间件，它实现了 AMQP 协议（其实还实现了 MTQQ 等消息协议）。和其他两个主流的消息队列中间件 Kafka 和 RocketMQ 相比，拥有更低的延迟、更高的稳定性、更完备的功能、 ...
分类：
编程语言 时间：
2019-12-10 22:39:42
阅读次数：
119
其实Rocketmq的给第三方的插件已经全了，如果大家有兴趣的话请移步https://github.com/apache/rocketmq-externals。本文主要是结合笔者已有的rmq在spark中的应用经验对rocketmq做简单介绍以及经验总结，当然免不了会将rocketmq和如今特别火爆 ...
分类：
其他好文 时间：
2019-12-10 22:13:08
阅读次数：
157
kafka官方文档 https://kafka.apache.org/documentation.html quickstart kafka 安装文档 https://www.jianshu.com/p/c74e0ec577b0 相关命令： kafka 启动：kafka官方文档 https://ka ...
分类：
其他好文 时间：
2019-12-10 14:55:32
阅读次数：
372
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
分类：
其他好文 时间：
2019-12-09 18:50:02
阅读次数：
101
1、消费者与Partition 以下来自《kafak权威指南》第4章。 假设主题T1有四个分区。 1.1、一个消费者组 1.1.1、消费者数量小于分区数量 只有一个消费者时，消费者1将收到4个分区的全部消息。 当有两个消费者时，每个消费者将分别从两个分区接受消息。 1.1.2、消费者数量等于分区数量 ...
分类：
其他好文 时间：
2019-12-08 23:23:55
阅读次数：
108
1、Offset Topic Consumer通过提交Offset来记录当前消费的最后位置，以便于消费者发生崩溃或者有新的消费者加入消费者组，而引发的分区再均衡操作，每个消费者可能会分到不同的分区。我测试的kafka版本是：0.11.0.2，消费者往一个特殊的主题“_consumer_offset” ...
分类：
其他好文 时间：
2019-12-08 22:58:03
阅读次数：
140
全网最通俗易懂的Kafka入门 http://www.itpub.net/2019/12/04/4597/ 前言 只有光头才能变强。 文本已收录至我的GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y 众所周知，消息队列的产品有好几种，这里我选择 ...
分类：
其他好文 时间：
2019-12-08 19:04:15
阅读次数：
88
大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图： hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案 hive是在mr和文件存储系统上面做的升级。 sprak+hbase+hadoop主要解决的是hadoop实时处理数据比较弱的问题 ...
分类：
Web程序 时间：
2019-12-08 10:27:19
阅读次数：
116
