主题Topic通常，主题是指某些特定的相互关联的概念的特定标题或名称。 在Kafka中，主题一词是指用于存储和发布特定数据流的类别或通用名称。 基本上，Kafka中的主题类似于数据库中的表table，但不包含所有约束。 在Kafka中，我们可以根据需要创建n个主题。 它由其名称标识，这取决于用户的选 ...
分类：
Web程序 时间：
2020-01-11 15:27:24
阅读次数：
102
Apache Kafka是一个开放源代码流处理软件平台，用于处理实时数据存储。Apache Kafka在两方（即发送方和接收方）之间充当经纪人。它一天可以处理大约数万亿个数据事件。Apache Kafka是一个基于分布式流式处理过程的软件平台。Apache Kafka是一个发布-订阅消息传递系统，它... ...
分类：
Web程序 时间：
2020-01-11 15:20:11
阅读次数：
112
Apache Kafka是大数据世界中的分布式软件系统。 因此，对于这样的系统，需要具有所存储数据的副本。 在Kafka中，每个经纪人都包含某种数据。 但是，如果代理或计算机出现故障怎么办？ 数据将丢失。 预防措施，Apache Kafka启用了复制功能，即使代理发生故障也可以确保数据丢失。 为此，... ...
分类：
Web程序 时间：
2020-01-11 15:10:56
阅读次数：
100
原文链接:https://cloud.tencent.com/developer/article/1462432 一、概述 在新消费者客户端中，消费位移是存储在Kafka内部的主题 __consumer_offsets 中。把消费位移存储起来（持久化）的动作称为 “提交” ，消费者在消费完消息之后需 ...
分类：
其他好文 时间：
2020-01-10 22:36:40
阅读次数：
150
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# v ...
分类：
其他好文 时间：
2020-01-10 20:16:32
阅读次数：
93
创建a2.conf文件并且编写 Sources 类型是exec 配置文件如下 启动集群 启动flume 产生临时文件 ...tmp 关闭临时文件 再次写入文本，会再次产生一个临时文件。截图左边是一个内容输入和时间对照 从时间上看出大概是30s会关闭这个文件。 在hdfs 上查看内容 以上根据自己的理 ...
分类：
Web程序 时间：
2020-01-10 16:01:33
阅读次数：
111
1、下载Kafka http://mirrors.hust.edu.cn/apache/kafka/2.1.1/ 2、定位到/usr/local，创建kafka文件夹，进入此文件夹后解压kafka（可自行选择安装目录） tar -xzf kafka_2.11-2.1.1.tgz 3、运行内置zook ...
分类：
其他好文 时间：
2020-01-10 15:33:08
阅读次数：
106
Kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。 针对Kafka性能方面进行简单分析，相关数据请参考：https://segmentfau ...
分类：
其他好文 时间：
2020-01-09 20:48:30
阅读次数：
79
背景 公司一个项目的大数据平台进行改造，之前使用Structured Streaming作为实时计算框架，需要替换为替换为Kafka Streams，并使用SpringBoot包装，使其可以纳入微服务体系。然而由于之前并没有接触过SpringFramework相关技术，并且项目工期较为紧张，因此只好 ...
分类：
编程语言 时间：
2020-01-09 20:25:12
阅读次数：
100
方式一：读取文件输出到Kafka 1.代码 import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExecutionEn ...
分类：
其他好文 时间：
2020-01-09 19:18:07
阅读次数：
382
