事先说明，本文的所有实例均基于kafka2.5.0开发；依赖的jar包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.5.0</version> < ...
分类：
编程语言 时间：
2020-06-17 23:08:15
阅读次数：
74
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
每一个副本 leader 管理自己的 isr 列表，进行扩缩，并写入 zk 把某些 replica 加入到 isr 中：如果 follower 的 offset 大于等于 leader 的 HW，则把该 replica 加入到 isr 中 // kafka.cluster.Partition#may ...
分类：
其他好文 时间：
2020-06-16 23:41:35
阅读次数：
56
摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区 ...
分类：
其他好文 时间：
2020-06-16 21:54:32
阅读次数：
65
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
kafka 搭建源码环境 org.scoverage 报错 * Where:Build file '/Users/lidongmeng/source_code_read/kafka-0.10.0.1-src/build.gradle' line: 376 * What went wrong:A pr ...
分类：
其他好文 时间：
2020-06-16 18:44:01
阅读次数：
120
0.kafka和zookeeper一键搭建脚本如下#!/bin/bash#Auth:xusj#Date:2020/6/15#3个节点集群使用，分别在节点123执行该脚本即可。curDir=`pwd`localIp=$(ifconfig|grepinet|grepnetmask|grepbroadcast|awk‘{print$2}‘|sed-n‘1p‘)zkPid=$(psaux|grepzook
分类：
其他好文 时间：
2020-06-16 16:50:25
阅读次数：
65
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等Kafka是一个高性能的消息队列，在众多消息队列产品中，Kafka的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上，对Kafka做过极限的性能压测，Kafka单个节点的极限处理能力接近每秒钟2000万条消息，吞吐量达到每秒钟600MB。你可能会问，Kafka是如何做到这么高的性能的？之前就曾探讨过：怎么开发一个高性
分类：
其他好文 时间：
2020-06-16 01:08:56
阅读次数：
159
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。 消息队列 Kafka 本质上是一个 MQ（Message Queue），使用消息队列的好处？（面试会问） 解耦：允许我们独立的扩展或修改队列两边的处理过程。 可恢复性：即使一个 ...
分类：
其他好文 时间：
2020-06-15 16:11:29
阅读次数：
53
