在此之前,要安装好jdk和Zookeeper集群 安装位置:和Zookeeper安装的机器一样 1.下载安装 在官网下载(最新版本?)(一般不会出现版本兼容问题): kafka_2.12-2.4.1.tgz 上传到虚拟机 解压安装: tar -zxvf /soft/software/kafka_2. ...
分类：
其他好文 时间：
2020-05-28 23:37:12
阅读次数：
77
概述 在日常开发中，为了提高主线程的效率，往往需要采用异步调用处理，例如系统日志等。在实际业务场景中，可以使用消息中间件如RabbitMQ、RocketMQ、Kafka等来解决。假如对高可用没有太高的要求，也可以使用线程池或者队列来解决。 创建工程 创建Maven工程 修改配置文件 <project ...
分类：
编程语言 时间：
2020-05-28 18:17:10
阅读次数：
72
Kafka快速入门（八）——ConfluentKafka简介一、ConfluentKafka简介1、ConfluentKafka简介2014年，Kafka的创始人JayKreps、NahaNarkhede和饶军离开LinkedIn创立Confluent公司，专注于提供基于Kafka的企业级流处理解决方案，并发布了ConfluentKafka。ConfluentKafka分为开源版和企业版，企业版收
分类：
其他好文 时间：
2020-05-27 23:19:00
阅读次数：
130
所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝 1、提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。 2、提供高伸缩性。支持横向扩展，能够通过增加机器的方式来提升读性能，进而提 ...
分类：
其他好文 时间：
2020-05-27 15:59:20
阅读次数：
68
1，使用copy模块时，src 路径可以不用写，直接写要copy的文件名称即可 ansible 自己会根据一定的规律来遍历路径，是否存在该文件（拷贝的对象） 1. [root@localhost kafka]# tree . ├── hosts │ ├── kafka_hosts │ └── kaf ...
分类：
其他好文 时间：
2020-05-27 15:33:11
阅读次数：
231
Kafka最初考虑的问题是，customer应该从brokes拉取消息还是brokers将消息推送到consumer，也就是pull还push。在这方面，Kafka遵循了一种大部分消息系统共同的传统的设计：producer将消息推送到broker，consumer从broker拉取消息。 一些消息系 ...
分类：
其他好文 时间：
2020-05-27 09:22:10
阅读次数：
405
KafkaConnect基本概念介绍KafkaConnect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector，可以使用这些connector进行关系数据库或HDFS等常用系统到Kafka的数据传输，也是用来构建ETL的一种方案。KafkaConnect基本概念：KafkaConnect实际上是Kafka流式计算的一部分KafkaConnect主要
Kafa consumer消费消息时，向broker发出fetch请求去消费特定分区的消息，consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息，customer拥有了offset的控制权，可以向后回滚去重新消费之前的消息，这是很有意义的 ...
分类：
其他好文 时间：
2020-05-26 21:58:05
阅读次数：
373
#1 jdk安装 sudo rpm -ivh $KINGSTAR_JDK_NAME #2 安装zookeeper unzip $source_zookeeper_dir -d $install_zookeeper_dir sh zkServer.sh start #3 kafka安装 tar -xv ...
分类：
其他好文 时间：
2020-05-26 18:35:16
阅读次数：
63
Kafka快速入门（七）——Kafka监控一、Kafka监控指标1、Kafka主机监控指标主机监控是监控Kafka集群Broker所在的节点机器的性能。常见的主机监控指标包括：（1）机器负载（Load）（2）CPU使用率（3）内存使用率，包括空闲内存（FreeMemory）和已使用内存（UsedMemory）（4）磁盘I/O使用率，包括读使用率和写使用率网络（5）I/O使用率（6）TCP连接数（7
分类：
其他好文 时间：
2020-05-26 10:38:25
阅读次数：
75
