2.1 安装部署 2.1.1 集群规划 192.168.1.102 192.168.1.103 192.168.1.104 zookeeper zookeeper zookeeper kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/do ...
分类：
其他好文 时间：
2021-03-30 13:07:22
阅读次数：
0
2021-03-27 import java.util.ArrayList; import java.util.Collection; import java.util.Collections; import java.util.Map; import java.util.concurrent.Ex ...
分类：
编程语言 时间：
2021-03-29 12:35:39
阅读次数：
0
一、概念和基本架构 1.1 kafka介绍 Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群中按照主题分类管理，一个主题可以有多个分区，一个分区可以有多个副本分区。每个记录由一个键，一个值和一个时间戳组成。Kafka只有消息的拉取，没有推送，可以通过轮询实现消息的推送 ...
分类：
其他好文 时间：
2021-03-26 15:32:23
阅读次数：
0
pip install setuptools pip install kafka-python执行以上两个命令就可以安装成功。说明：setuptools是kafka-python的依赖库 ...
分类：
编程语言 时间：
2021-03-17 14:49:03
阅读次数：
0
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干 ...
分类：
其他好文 时间：
2021-03-17 14:25:54
阅读次数：
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
问题：springboot集成kafka，并由KafkaStreams处理，启动报错 org.apache.kafka.streams.errors.StreamsException: Input record ConsumerRecord(topic = crawler_events, parti ...
分类：
编程语言 时间：
2021-03-16 14:11:28
阅读次数：
0
TopN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源； 基于 EventTime 处理，如何指定 Watermark； Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口； State状态的使用； P ...
分类：
其他好文 时间：
2021-03-12 13:00:59
阅读次数：
0
简介： 快手基于 Flink 的持续优化与实践的介绍。 一、Flink 稳定性持续优化 第一部分是 Flink 稳定性的持续优化。该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是基于内部的双机房读或双机房写和一些容错的策略。第二部分关 ...
分类：
其他好文 时间：
2021-03-05 12:54:40
阅读次数：
0
近日，Hudi社区合并了 Flink 引擎的基础实现（HUDI-1327），这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类：
其他好文 时间：
2021-03-04 13:29:01
阅读次数：
0
