葵花宝典 flume 1. Flume组成，Put事务，Take事务 2. Flume拦截器 3. Flume Channel选择器 4. Flume监控器 5. Flume采集数据会丢失吗?（防止数据丢失的机制） 6. Flume内存 7. FileChannel优化 1. Flume组成，Put ...
分类：
Web程序 时间：
2020-10-29 10:09:33
阅读次数：
36
1.概述在很久之前写过一篇Kafka相关的文章，你需要知道的Kafka，那个时候在业务上更多的是使用的是Kafka，而现在换了公司之后，更多的使用的是Rocketmq，本篇文章会尽力全面的介绍RocketMQ和Kafka各个关键点的比较，希望大家读完能有所收获。RocketMQ前身叫做MetaQ,在MeataQ发布3.0版本的时候改名为RocketMQ，其本质上的设计思路和Kafka类似，但是和K
分类：
其他好文 时间：
2020-10-29 10:00:27
阅读次数：
22
背景今天在脉脉上面看到了一个帖子，比较有意思：这个帖子的意思是：在使用Kafka的时候，我们已经设置了多个分区，如何去提升消费能力？如果使用线程池的方式去提升如何保证重启时消息不丢。这个题其实问了两个点，第一个是如何提升消费能力，第二个是如果选择线程池，我们如何做到消息不丢。这里先解释一下这两个问题到底是怎么回事，在很多消息队列中都有一个概念叫partion，代表着分区，分区是我们提高消息队列消费
分类：
编程语言 时间：
2020-10-29 09:42:12
阅读次数：
19
背景不知道是否你还在为下面的问题而困扰：?当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。?当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。?当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很
分类：
其他好文 时间：
2020-10-29 09:41:24
阅读次数：
16
在《图解Kafka中的基本概念》中已经对副本进行了介绍。我们先回顾下，Kafka中一个分区可以拥有多个副本，副本可分布于多台机器上。而在多个副本中，只会有一个Leader副本与客户端交互，也就是读写数据。其他则作为Follower副本，负责同步Leader的数据，当Leader宕机时，从Follower选举出新的Leader，从而解决分区单点问题。本文将继续深入了解Kafka中副本机制的设计和原理
分类：
其他好文 时间：
2020-10-27 11:55:20
阅读次数：
43
在《Kafka消费者的使用和原理》中已经提到过“再均衡”的概念，我们先回顾下，一个主题可以有多个分区，而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费，可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的，例如消费者会宕机，还有新的消费者会加入，而为了应对这些变化，让分区所属权的分配合理，这都需要对分区所属权进行调整，也就是所谓的“再均衡”。本文将对再
分类：
其他好文 时间：
2020-10-27 11:55:04
阅读次数：
42
继上周的《Kafka生产者的使用和原理》，这周我们学习下消费者，仍然还是先从一个消费者的HelloWorld学起：publicclassConsumer{publicstaticvoidmain(String[]args){//1.配置参数Propertiesproperties=newProperties();properties.put("key.deserializer","org.apac
分类：
其他好文 时间：
2020-10-27 11:53:49
阅读次数：
25
在上篇文章《消息系统概述》中对消息系统进行了介绍，本次将学习Kafka中的基本概念。首先我们回顾下在消息系统的使用场景中有三种角色分别是生产者、消息系统和消费者，其中生产者负责产生消息和发送消息到消息系统，而消息系统将为消费者提供消息用于处理，如下图。Kafka是基于发布/订阅模式的消息系统，如下图。生产者会将消息推送到Kafka中的某个Topic上。引入Topic的目的则是为了对消息进行分类，这
分类：
其他好文 时间：
2020-10-27 11:52:37
阅读次数：
24
草捏子最近开始学习Kafka。在学习前，给自己确定了下学习的范围，大致如下：理解Kafka的相关概念；掌握Kafka的基本API使用；了解Kafka的背后原理。后续将在这学习范围内输出一些相关文章。那么本文作为Kafka系列的第一篇文章，将从“理解Kafka的相关概念”说起。首先Kafka是什么。Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeepe
分类：
其他好文 时间：
2020-10-27 11:52:25
阅读次数：
31
KafkaProducerBlockingPoint:max.block.ms:maxtimetowaitforthewholekafka.sendmethod,althoughkafka.sendisasynchronous,thereareseveralsynchronous/blockingoperationswithinthemethod:max.block.msincludes:Meta
分类：
其他好文 时间：
2020-10-22 22:28:07
阅读次数：
21
