一、安装 kafka可以通过官网下载：https://kafka.apache.org/downloads kafka根据Scala版本不同，又分为多个版本，我不需要使用Scala，所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。 使用tar -xzvf kafka_2.12-2.4 ...
分类：
其他好文 时间：
2020-01-07 00:32:37
阅读次数：
159
重要的地方说下，算是给自己提醒，也给阅读者凑合着看看吧； （1）序列化、反序列化； 注意看这个文章 https://www.jianshu.com/p/5da86afed228 很多网上的例子都是 推送字符串对象的，大多也都算是DEMO，要转实战成对象进行传递，需要序列化和反序列化，否则肯定要报错 ...
分类：
编程语言 时间：
2020-01-06 23:18:20
阅读次数：
180
开始准备写测试代码 看半天不太懂（我也算是小白级别的，看我搞windows版本的kafka就知道了）， 看文档无聊，偶然看到一个KAFKA的windows管理程序，于是就试试就装了一个，感觉那个玩意也比较垃圾，打算不用，突然看到上面可以管理 topic 于是我就当测试了，用这个管理工具删除 我自定义 ...
分类：
编程语言 时间：
2020-01-06 17:59:24
阅读次数：
153
项目需要，需要整合 SpringBoot+KAFKA 我调查了一下，发现Linux中，要先装zoomkeeper，再装KAFKA，如 https://blog.csdn.net/zhangcongyi420/article/details/88674491 我CA，我的机器搞不动，而且要搞的话，也要 ...
分类：
编程语言 时间：
2020-01-06 12:23:50
阅读次数：
122
温馨提示：本文基于 Kafka 2.2.1 版本。本文主要是以源码的手段一步一步探究消息发送流程，如果对源码不感兴趣，可以直接跳到文末查看消息发送流程图与消息发送本地缓存存储结构。 从上文 "初识 Kafka Producer 生产者" ，可以通过 KafkaProducer 的 send 方法发送 ...
分类：
其他好文 时间：
2020-01-05 18:32:04
阅读次数：
107
1、kafka安装安装JDKtarxvfjdk1.8.0_231.tar.gz-C/usr/local&&cd/usr/localln-svjdk1.8.0_231jdkvim/etc/profile.d/java.shJAVA_HOME=/usr/local/jdkPATH=$JAVA_HOME/bin:$PATHzookeeper安装（或使用kafka自带的）vim/usr/l
分类：
其他好文 时间：
2020-01-05 10:05:38
阅读次数：
725
使用kafka和sparkstreaming整合时，IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1"，初步看是版本不兼容，但是版本后面确认没有问题， ...
分类：
移动开发 时间：
2020-01-05 09:29:41
阅读次数：
291
1、消费服务速度跟不上 2、top -H 观察是哪个线程最忙 3、多次使用jstack，看看最忙的那个线程在做什么 ...
分类：
其他好文 时间：
2020-01-04 21:58:52
阅读次数：
57
一.说明 在大数据平台的业务场景中，处理实时kafka数据流数据，以成为必要的能力；此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 a).选择ConsumeKafka_0_10 b).配置ConsumeKaf ...
分类：
Web程序 时间：
2020-01-04 18:52:05
阅读次数：
238
如果业务中，对于kafka发送消息异步消费的场景，在业务上需要实现在消费时实现顺序消费， 利用kafka在partition内消息有序的特点，消息消费时的有序性。 1、在发送消息时，通过指定partition hash 2、consumer 消费消息时，需要使用亲缘性线程池进行消费，才能实现消息的基 ...
分类：
其他好文 时间：
2020-01-04 14:13:35
阅读次数：
90
