1 概述 目前我们部分系统还在使用Kafka0.8.2.2 的版本。 0.8.2.2版本发行于2014年10月28号，距今已经过去4年多的时间。 三年的时间，Kafka截至到（2018-02-28），已经累计发布了14个版本，最新版本为1.0.0，由此，0.8.2已经远远落后于Kafka的最新版本1 ...
分类：
其他好文 时间：
2019-12-07 14:12:04
阅读次数：
856
zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。 而且，这也是面试时经常问的。 zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper ...
分类：
其他好文 时间：
2019-12-07 10:23:23
阅读次数：
111
前情回顾 前文我们完成了日志采集系统的日志文件监控，配置文件热更新，协程异常检测和保活机制。 本节目标 本节加入kafka消息队列，kafka前文也介绍过了，可以对消息进行排队，解耦合和流量控制的作用，为什么一定要用kafka呢？主要原因就是在日志高并发读取后，如果直接将消息发给前端或者写入数据库， ...
分类：
其他好文 时间：
2019-12-06 17:38:39
阅读次数：
118
摘自：https://www.cnblogs.com/Java3y/p/11982381.html 全网最通俗易懂的Kafka入门！ 前言 只有光头才能变强。 文本已收录至我的GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y 在这篇之前已经写过 ...
分类：
其他好文 时间：
2019-12-06 11:23:54
阅读次数：
108
一个topic有多个partition，每个partition又有多个副本，在这些副本中又有一个leader和多个follower。 1）分区的原因 （1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适 ...
分类：
其他好文 时间：
2019-12-06 00:31:27
阅读次数：
192
kafka基础架构 什么是kafka？ Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 1.什么是消息队列？ 2.使用消息队列的好处 1）解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2）可恢复性 系统的一部分组件失效时，不会影响 ...
分类：
其他好文 时间：
2019-12-06 00:15:17
阅读次数：
124
主题： 1、kafka是写磁盘还是写内存？ 2、kafka究竟是由 consumer 从 broker 那里拉数据，还是由 broker 将数据推到 consumer？ 3、如何区分已消费（consumed）的记录？ 4、kafka用什么方法保障持久化的低延迟和高效率？ 5、kafka的消息保证有几 ...
分类：
其他好文 时间：
2019-12-05 18:29:32
阅读次数：
106
最近研究消息队列，发现好几个框架，搜罗一下进行对比，说一下选型说明： 1）中小型软件公司，建议选RabbitMQ。一方面，erlang语言天生具备高并发的特性，而且他的管理界面用起来十分方便。不考虑rocketmq和kafka的原因是，一方面中小型软件公司不如互联网公司，数据量没那么大，选消息中间件 ...
分类：
其他好文 时间：
2019-12-05 10:24:08
阅读次数：
157
案例分析 处理kafka consumer的程序的时候，发现如下错误： 1 2 3 4 5 6 7 8 9 10 ERROR [2016-07-22 07:16:02,466] com.flow.kafka.consumer.main.KafkaConsumer: Unexpected Error ...
分类：
其他好文 时间：
2019-12-04 11:49:24
阅读次数：
94
– zookeeper is not a recognized option主要原因是 Kafka 版本过高，命令不存在。 使用新版本： ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test -- ...
分类：
其他好文 时间：
2019-12-04 10:32:16
阅读次数：
84
