Consumer之自动提交在上文中介绍了ProducerAPI的使用，现在我们已经知道如何将消息通过API发送到Kafka中了，那么现在的生产者/消费者模型就还差一位扮演消费者的角色了。因此，本文将介绍ConsumerAPI的使用，使用API从Kafka中消费消息，让应用成为一个消费者角色。还是老样子，首先我们得创建一个Consumer实例，并指定相关配置项，有了这个实例对象后我们才能进行其他的操
What's QEMU QEMU是一个主机上的VMM（virtual machine monitor）,通过动态二进制转换来模拟CPU，并提供一系列的硬件模型，使guest os认为自己和硬件直接打交道，其实是同QEMU模拟出来的硬件打交道，QEMU再将这些指令翻译给真正硬件进行操作。通过这种模式， ...
分类：
其他好文 时间：
2020-05-25 00:28:58
阅读次数：
99
```shell #!/bin/bash case $1 in "start"){ for i in hadoop120 hadoop121 hadoop 122 do echo "************$i*************" ssh $i "/.../kafka/bin/kafka-s... ...
分类：
其他好文 时间：
2020-05-24 21:00:57
阅读次数：
111
kafka在Broker端提供了一个配置参数：unclean.leader.election,这个参数有两个值：true（默认）：允许不同步副本成为leader，由于不同步副本的消息较为滞后，此时成为leader，可能会出现消息不一致的情况。false：不允许不同步副本成为leader，此时如果发生 ...
分类：
其他好文 时间：
2020-05-24 18:08:38
阅读次数：
74
Kafka快速入门（四）——Kafka高级功能一、Kafka无消息丢失配置1、Kafka消息丢失简介Kafka只针对已提交消息（committedmessage）做有限度的持久化保证。当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后，会通知生产者程序相应消息已成功提交。多少个Broker成功保存消息算是已提交，可以由Producer参数或Broker端参数指定。有限度的持久化
分类：
其他好文 时间：
2020-05-24 10:09:30
阅读次数：
56
Kafka快速入门（二）——Kafka架构一、Kafka架构简介1、Kafka架构简介2、RecordRecord即Kafka消息，是Kafka处理的主要对象。3、TopicTopic是承载Kafka消息数据的逻辑容器，用于区分具体的业务，但在物理上，不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存在一个或多个Broker上，但用户只需指定消息的Topic即可生产或消费数据而不必关
分类：
其他好文 时间：
2020-05-24 10:09:12
阅读次数：
47
同样是逻辑上的概念，是Kafka实现单播和广播两种消息模型的手段。同一个topic的数据，会广播给不同的group；同一个group中的worker，只有一个worker能拿到这个数据。换句话说，对于同一个topic，每个group都可以拿到同样的所有数据，但是数据进入group后只能被其中的一个w ...
分类：
其他好文 时间：
2020-05-24 10:06:48
阅读次数：
77
Kafka快速入门（三）——Kafka核心技术一、生产者压缩算法1、Kafka消息压缩压缩（compression）是用时间换空间的经典trade-off思想，使用CPU时间换磁盘空间或网络I/O传输量，以较小的CPU开销带来更少的磁盘占用或更少的网络I/O传输。Kafka有两类消息格式，V1版本和V2版本，V2版本在Kafka0.11.0.0中正式引入。Kafka的消息层次都分为两层：消息集合（
分类：
其他好文 时间：
2020-05-24 09:37:17
阅读次数：
56
Kafka快速入门Kafka快速入门（一）——Kafka简介https://blog.51cto.com/9291927/2493953Kafka快速入门（二）——Kafka架构https://blog.51cto.com/9291927/2497814Kafka快速入门（三）——Kafka核心技术https://blog.51cto.com/9291927/2497820
分类：
其他好文 时间：
2020-05-24 09:32:24
阅读次数：
49
Kafka快速入门（五）——Kafka管理一、Kafka工具脚本简介1、Kafka工具脚本简介Kafka默认提供了很多个命令行脚本，用于实现各种各样的功能和运维管理。默认情况下，不加任何参数或携带--help运行Kafkashell脚本根据，会得到脚本的使用方法说明。connect-standalone.sh用于启动单节点的Standalone模式的KafkaConnect组件。connect-d
分类：
其他好文 时间：
2020-05-24 09:17:35
阅读次数：
55
