kafka 相信都有听说过，不管有没有用过，在江湖上可以说是大名鼎鼎，就像天龙八部里的乔峰。国际惯例，先介绍生平事迹 简介 Kafka 是由 Apache软件基金会 开发的一个开源流处理平台，由 Scala 和 Java 编写。Kafka是一种高吞吐量的 分布式 ，支持分区（partition），多 ...
分类：
Web程序 时间：
2020-05-20 12:19:58
阅读次数：
73
__consumer_offsets 在 Kafka 源码中有个更为正式的名字，叫位移主题，即 Offsets Topic。需要注意的是，它有两个下划线哦 将 Consumer 的位移数据作为一条条普通的 Kafka 消息，提交到 __consumer_offsets 中 可以这么说，__consu ...
分类：
其他好文 时间：
2020-05-19 12:58:45
阅读次数：
67
Kafka是什么 Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且基于ZooKeeper协调的内部基础设置，现已捐献给Apache基金会。Kafka是一个流平台，主要用来发布和订阅数据流，是流式数据处理的利器。Kafka用于构建实时数据管道和流应用程序，具有 ...
分类：
其他好文 时间：
2020-05-18 20:50:54
阅读次数：
67
Step 1: 下载Kafka 到官网下载后缀名为.tgz的文件，kafka_2.13-2.5.0.tgz，tgz是压缩文件，Windows需解压两次。 Step 2: Start Zookeeper service 启动kafka前需要先启动Zookeeper，CMD到kafka文件路径下 ? c ...
分类：
其他好文 时间：
2020-05-18 18:58:49
阅读次数：
71
docker安装部署kafka 1.下载镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2.启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 - ...
分类：
其他好文 时间：
2020-05-18 16:45:31
阅读次数：
49
Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制 既然是一个组，那么组内必然可以有多个消费者或消费者实例（Consumer Instance），它们共享一个公共的 ID，这个 ID 被称为 Group ID 组内的所有消费者协调在一起来消费订阅主题（Subscrib ...
分类：
其他好文 时间：
2020-05-18 12:48:42
阅读次数：
76
Producer异步发送演示在上文中介绍了AdminClientAPI的使用，现在我们已经知道如何在应用中通过API去管理Kafka了。但在大多应用开发中，我们最常面临的场景就是发送消息到Kafka，或者从Kafka中消费消息，也就是典型的生产/消费模式。而本文将要演示的就是如何使用ProducerAPI将消息发送至Kafka中，使应用成为一个生产者。ProducerAPI具有以下几种发送模式：异
五类Kafka客户端作用和区别在上文中介绍了如何搭建一个Kafka服务，那么在开发中我们要如何去访问、集成Kafka呢？这就需要使用到本文将要介绍的Kafka客户端API。下图是官方文档中的一个图，形象表示了能与Kafka集成的客户端类型：这些客户端通过API与Kafka进行集成，Kafka的五类客户端API类型如下：AdminClientAPI：允许管理和检测Topic、broker以及其他Ka
参考：https://kafka.js.org/docs 1.封装kafkaUtil类const { Kafka, logLevel } = require('kafkajs') //const cache = require('../conn/redis.js'); const kafka = n ...
分类：
Web程序 时间：
2020-05-16 09:12:34
阅读次数：
156
基础概念 Kafka最初是由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，可以实时的处理大量数据以满足各种需求场景：基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、访问日志、消息服 ...
分类：
其他好文 时间：
2020-05-16 00:14:31
阅读次数：
73
