思考： 1，消息丢失是什么造成的，从生产端和消费端两个角度来考虑？ 2，消息重复是什么造成的，从生产端和消费端两个角度来考虑？ 3，如何保证消息有序？ 4，如果保证消息不重不漏，损失的是什么？ 1.为什么会发生消息丢失和消息重复？消息发送Kafka消息发送有两种方式：同步（sync）和异步（asyn ...
分类：
其他好文 时间：
2020-07-21 00:57:57
阅读次数：
177
<div id="cnblogs_post_body" class="blogpost-body "> <p><strong>Broker Configs</strong></p><p> </p><p> </p><table style="width: 800px; ...
分类：
其他好文 时间：
2020-07-20 17:18:44
阅读次数：
72
1.创建一个topic （它有一个分区和副本） bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2.查看已有的top ...
一、下载及安装配置 JDK (Kafka依赖于Zookeeper服务，而Zookeeper的运营依赖JDK) 1.地址：https://www.oracle.com/java/technologies/javase-jdk14-downloads.html 下载windows可执行文件，直接点击安装 ...
仅罗列了一些常用基础配置，更多配置请到官网查看 https://www.elastic.co/guide/en/beats/filebeat/current/index.html filebeat.yml配置文件 # Filebeat inputs #input设置，支持Docker,Contain ...
分类：
其他好文 时间：
2020-07-18 22:06:05
阅读次数：
189
仅罗列了一些常用基础配置，更多配置请到官网查看 https://www.elastic.co/guide/en/logstash/current logstash.yml配置文件 # Node identity #节点名称，默认主机名 node.name: test # Data path #数据存 ...
分类：
其他好文 时间：
2020-07-18 22:04:24
阅读次数：
88
一、下载源码包 1 官网下载 下载带有jdk的elasticsearch https://elasticsearch.cn/download/ 2 网盘下载 https://pan.baidu.com/share/init?surl=zmVDZLZ1KJyQUdQDgJwKPw 提取码：mtvl 3 ...
分类：
其他好文 时间：
2020-07-18 22:04:05
阅读次数：
95
前提：需要提前下载JDK 1.下载地址：https://kafka.apache.org/ 2.需要先启动ZooKeeper服务器(可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。) 命令： bin\windows\zookeeper-server-star ...
当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是 ...
分类：
其他好文 时间：
2020-07-18 00:48:57
阅读次数：
97
Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范，那么该数据库就支持与事务相关的行为。 kaf ...
分类：
其他好文 时间：
2020-07-16 00:19:13
阅读次数：
71
