Kafka 是现在大数据中流行的消息中间件，其中 kafka 中由 topic 组成，而 topic 下又可以由多个 partition 构成。有时候我们在消费 kafka 中的数据想要保证消费 kafka 中的所有的分区下数据是全局有序的，这种情况下就需要将 topic 下的 partition ...
分类：
其他好文 时间：
2020-05-25 09:38:02
阅读次数：
231
KafkaStream概念及初识高层架构图KafkaStream是ApacheKafka从0.10版本引入的一个新Feature，它提供了对存储于Kafka内的数据进行流式处理和分析的功能。简而言之，KafkaStream就是一个用来做流计算的类库，与Storm、SparkStreaming、Flink的作用类似，但要轻量得多。KafkaStream的基本概念：KafkaStream是处理分析存储
Consumer之自动提交在上文中介绍了ProducerAPI的使用，现在我们已经知道如何将消息通过API发送到Kafka中了，那么现在的生产者/消费者模型就还差一位扮演消费者的角色了。因此，本文将介绍ConsumerAPI的使用，使用API从Kafka中消费消息，让应用成为一个消费者角色。还是老样子，首先我们得创建一个Consumer实例，并指定相关配置项，有了这个实例对象后我们才能进行其他的操
```shell #!/bin/bash case $1 in "start"){ for i in hadoop120 hadoop121 hadoop 122 do echo "************$i*************" ssh $i "/.../kafka/bin/kafka-s... ...
分类：
其他好文 时间：
2020-05-24 21:00:57
阅读次数：
111
kafka在Broker端提供了一个配置参数：unclean.leader.election,这个参数有两个值：true（默认）：允许不同步副本成为leader，由于不同步副本的消息较为滞后，此时成为leader，可能会出现消息不一致的情况。false：不允许不同步副本成为leader，此时如果发生 ...
分类：
其他好文 时间：
2020-05-24 18:08:38
阅读次数：
74
Kafka快速入门（四）——Kafka高级功能一、Kafka无消息丢失配置1、Kafka消息丢失简介Kafka只针对已提交消息（committedmessage）做有限度的持久化保证。当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后，会通知生产者程序相应消息已成功提交。多少个Broker成功保存消息算是已提交，可以由Producer参数或Broker端参数指定。有限度的持久化
分类：
其他好文 时间：
2020-05-24 10:09:30
阅读次数：
56
Kafka快速入门（二）——Kafka架构一、Kafka架构简介1、Kafka架构简介2、RecordRecord即Kafka消息，是Kafka处理的主要对象。3、TopicTopic是承载Kafka消息数据的逻辑容器，用于区分具体的业务，但在物理上，不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存在一个或多个Broker上，但用户只需指定消息的Topic即可生产或消费数据而不必关
分类：
其他好文 时间：
2020-05-24 10:09:12
阅读次数：
47
同样是逻辑上的概念，是Kafka实现单播和广播两种消息模型的手段。同一个topic的数据，会广播给不同的group；同一个group中的worker，只有一个worker能拿到这个数据。换句话说，对于同一个topic，每个group都可以拿到同样的所有数据，但是数据进入group后只能被其中的一个w ...
分类：
其他好文 时间：
2020-05-24 10:06:48
阅读次数：
77
Kafka快速入门（三）——Kafka核心技术一、生产者压缩算法1、Kafka消息压缩压缩（compression）是用时间换空间的经典trade-off思想，使用CPU时间换磁盘空间或网络I/O传输量，以较小的CPU开销带来更少的磁盘占用或更少的网络I/O传输。Kafka有两类消息格式，V1版本和V2版本，V2版本在Kafka0.11.0.0中正式引入。Kafka的消息层次都分为两层：消息集合（
分类：
其他好文 时间：
2020-05-24 09:37:17
阅读次数：
56
Kafka快速入门Kafka快速入门（一）——Kafka简介https://blog.51cto.com/9291927/2493953Kafka快速入门（二）——Kafka架构https://blog.51cto.com/9291927/2497814Kafka快速入门（三）——Kafka核心技术https://blog.51cto.com/9291927/2497820
分类：
其他好文 时间：
2020-05-24 09:32:24
阅读次数：
49
