本文将学习Kafka生产者的使用和原理，文中使用的kafka-clients版本号为2.6.0。下面进入正文，先通过一个示例看下如何使用生产者API发送消息。publicclassProducer{publicstaticvoidmain(String[]args){//1.配置参数Propertiesproperties=newProperties();properties.put("boots
分类：
其他好文 时间：
2020-11-01 09:31:55
阅读次数：
17
【摘要】 Kafka时间轮是Kafka实现高效的延时任务的基础，它模拟了现实生活中的钟表对时间的表示方式，同时，时间轮的方式并不仅限于Kafka，它是一种通用的时间表示方式，本文主要介绍Kafka中的时间轮原理。 Kafka中存在一些定时任务(DelayedOperation)，如DelayedFe ...
分类：
其他好文 时间：
2020-10-30 12:06:34
阅读次数：
18
前言"零拷贝"这三个字，想必大家多多少少都有听过吧，这个技术在各种开源组件中都使用了，比如kafka,rocketmq,netty,nginx等等开源框架都在其中引用了这项技术。所以今天想和大家分享一下有关于零拷贝的一些知识。计算机中数据传输在介绍零拷贝之前我想说下在计算机系统中数据传输的方式。数据传输系统的发展，为了写这一部分又祭出了我尘封多年的计算机组成原理:早期阶段:分散
分类：
其他好文 时间：
2020-10-30 11:49:47
阅读次数：
12
葵花宝典 flume 1. Flume组成，Put事务，Take事务 2. Flume拦截器 3. Flume Channel选择器 4. Flume监控器 5. Flume采集数据会丢失吗?（防止数据丢失的机制） 6. Flume内存 7. FileChannel优化 1. Flume组成，Put ...
分类：
Web程序 时间：
2020-10-29 10:09:33
阅读次数：
36
1.概述在很久之前写过一篇Kafka相关的文章，你需要知道的Kafka，那个时候在业务上更多的是使用的是Kafka，而现在换了公司之后，更多的使用的是Rocketmq，本篇文章会尽力全面的介绍RocketMQ和Kafka各个关键点的比较，希望大家读完能有所收获。RocketMQ前身叫做MetaQ,在MeataQ发布3.0版本的时候改名为RocketMQ，其本质上的设计思路和Kafka类似，但是和K
分类：
其他好文 时间：
2020-10-29 10:00:27
阅读次数：
22
背景今天在脉脉上面看到了一个帖子，比较有意思：这个帖子的意思是：在使用Kafka的时候，我们已经设置了多个分区，如何去提升消费能力？如果使用线程池的方式去提升如何保证重启时消息不丢。这个题其实问了两个点，第一个是如何提升消费能力，第二个是如果选择线程池，我们如何做到消息不丢。这里先解释一下这两个问题到底是怎么回事，在很多消息队列中都有一个概念叫partion，代表着分区，分区是我们提高消息队列消费
分类：
编程语言 时间：
2020-10-29 09:42:12
阅读次数：
19
背景不知道是否你还在为下面的问题而困扰：?当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。?当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。?当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很
分类：
其他好文 时间：
2020-10-29 09:41:24
阅读次数：
16
在《图解Kafka中的基本概念》中已经对副本进行了介绍。我们先回顾下，Kafka中一个分区可以拥有多个副本，副本可分布于多台机器上。而在多个副本中，只会有一个Leader副本与客户端交互，也就是读写数据。其他则作为Follower副本，负责同步Leader的数据，当Leader宕机时，从Follower选举出新的Leader，从而解决分区单点问题。本文将继续深入了解Kafka中副本机制的设计和原理
分类：
其他好文 时间：
2020-10-27 11:55:20
阅读次数：
43
在《Kafka消费者的使用和原理》中已经提到过“再均衡”的概念，我们先回顾下，一个主题可以有多个分区，而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费，可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的，例如消费者会宕机，还有新的消费者会加入，而为了应对这些变化，让分区所属权的分配合理，这都需要对分区所属权进行调整，也就是所谓的“再均衡”。本文将对再
分类：
其他好文 时间：
2020-10-27 11:55:04
阅读次数：
42
继上周的《Kafka生产者的使用和原理》，这周我们学习下消费者，仍然还是先从一个消费者的HelloWorld学起：publicclassConsumer{publicstaticvoidmain(String[]args){//1.配置参数Propertiesproperties=newProperties();properties.put("key.deserializer","org.apac
分类：
其他好文 时间：
2020-10-27 11:53:49
阅读次数：
25
