消费者-生产者模式搭建 首先，下载zookeeper与kafka Zookeeper下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/（本人推荐下载3.4.14版本，stable版本下的解压时会出现 ...
分类：
其他好文 时间：
2020-03-01 19:39:57
阅读次数：
79
1. 概述 Kafka是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统。 2. Kafka的特性 （1）高吞吐量、低延迟：Kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题topic可以分为多个分区partition，消费者组consumer grou ...
分类：
其他好文 时间：
2020-03-01 19:38:00
阅读次数：
72
概述 zookeeper，拆开来就是zoo keeper，翻译就是动物管理员，为什么这么命名呢？因为当时yahoo开发zookeeper的时候，已经开发很多其他的产品，都是以动物命名的，而zookeeper的作用就是要协调这些产品，所以最后就命名为了动物管理员。相信每个人都不陌生，无论是阿里的dub ...
分类：
编程语言 时间：
2020-03-01 12:47:20
阅读次数：
60
异常 java.lang.NoClassDefFoundError: org/apache/flink/streaming/util/serialization/DeserializationSchema ...
分类：
编程语言 时间：
2020-03-01 00:07:36
阅读次数：
305
利用 Log Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1、前提条件 已有kafka、elk、k8s集群，这3套集群搭建网上资料很多，这里不写，IP规划如下所示： kafka集群 10.6.11.22:9092 10.6.11. ...
分类：
Web程序 时间：
2020-02-29 13:03:35
阅读次数：
412
问题项目使用spring-kafka操作消费kafka近期出现消费速度变慢，consumer消费一条数据平均需要200ms的时间，并且频繁发生，consumer会停止消费十几秒。日志分析以下为日志记录，consumer会时长从消费组中掉出再重新加入o.a.k.c.c.i.AbstractCoordinator:542-Markingthecoordinator127.0.0.1:9092(id:2
分类：
其他好文 时间：
2020-02-28 19:02:51
阅读次数：
461
Flink 1.10.0 于近期刚发布，释放了许多令人激动的新特性。尤其是 Flink SQL 模块，发展速度非常快，因此本文特意从实践的角度出发，带领大家一起探索使用 Flink SQL 如何快速构建流式应用。 本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使 ...
分类：
数据库 时间：
2020-02-28 16:02:58
阅读次数：
85
set PATH=C:\Program Files\Java\jdk1.8.0_201\bin;@call kafka-consumer-groups.bat --bootstrap-server localhost:9092 --describe --group test-uat --comman ...
分类：
其他好文 时间：
2020-02-28 13:58:03
阅读次数：
59
1、kafka0.11版本之后的消息幂等 Kafka幂等性介绍与源码实现： https://www.jianshu.com/p/b1599f46229b Kafka幂等性原理及实现剖析 cnblogs.com/smartloli/p/11922639.html Kafka 事务和幂等详解： http ...
分类：
其他好文 时间：
2020-02-28 11:57:35
阅读次数：
53
一、Kafka概述1）消息队列1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此；2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订
分类：
其他好文 时间：
2020-02-28 09:13:22
阅读次数：
80
