**6.启动zookeeper** ```/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ``` **7.启动kafka** ```/opt/kafka/bin/kafka-server- ...
分类：
其他好文 时间：
2020-04-07 09:45:34
阅读次数：
250
问题描述 2018年xx月xx日 下午4点20分左右 xxx无意中看到xxx正在排查线上Kafka集群遇到的问题，随后问明情况，有一台机器上Kafka进程挂了，当时他正在lark平台上查看错误日志信息，随后我一起加入排查问题。事故起止时间：2018年xx月xx日 16时30分~2018年9月13日 ...
分类：
系统相关 时间：
2020-04-07 00:13:33
阅读次数：
113
kafka核心概念与应用场景解析 Kafka的主要特点 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务，它主要用于处理活跃的流式数据。 kafka的主要特点： 同时为发布和订阅提 ...
分类：
其他好文 时间：
2020-04-06 17:42:09
阅读次数：
99
kafka急速入门与核心API kafka急速入门与核心API解析 kafka环境安装 上一节课我们已经对kafka的基本概念、核心思想有了一定的了解和认知，并且掌握了kafka在实际工作中的一些主要的应用场景。那么接下来，我们就一起快速进入kafka的安装吧。 kafka下载地址：http://k ...
Kafka-消费者-偏移量的提交方式 每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，可以追踪到哪些记录是被群组里的哪个消费者读取的。 更新分区当前位置的操作叫做提交。 消费者往一个叫做 _consumer_offset的特殊主题发送消息，消息里包含每个分区的 ...
分类：
其他好文 时间：
2020-04-06 15:43:22
阅读次数：
74
Kafka-再均衡监听器 在为消费者分配新分区或移除旧分区时，可以通过消费者API执行一些应用程序代码，在调用subscribe()方法时传进去一个ConsumerRebalanceListener实例就可以了。 public void onPartitionsRevoked(Collection< ...
分类：
其他好文 时间：
2020-04-06 15:36:29
阅读次数：
89
前言背景 消息系统经过多年使用和运维管理平台开发迭代，能较好支持支撑业务发展，公司主流语言为java，但缺乏一个基于Kafka二次封装简单好用的java客户端。遇到问题如下所示： 使用好kafka客户端对业务要求高，非专业技术方向很难有精力全面掌握 异常情况会catch不全 客户端生产消息及双活机房 ...
分类：
其他好文 时间：
2020-04-06 15:21:49
阅读次数：
81
记录下和kafka相关的LEO和HW的内容，文中很多理解参考文末书籍还有某前辈。 LEO&HW基本概念 1. Base Offset：是起始位移，该副本中第一条消息的offset，如下图，这里的起始位移是0，如果一个日志文件写满1G后（默认1G后会log rolling），这个起始位移就不是0开始了 ...
分类：
其他好文 时间：
2020-04-06 13:28:48
阅读次数：
152
一.整合kafka(生产者)步骤1.导入依赖(pom.xml)2.编写配置文件,修改配置文件的ip和端口号,修改主题(producer.xml)3.如果再ssm项目中可以让spring.xml来加载这个配置文件 <import resource="classpath:XXX.xml" /> 如果是再 ...
分类：
编程语言 时间：
2020-04-06 10:04:41
阅读次数：
84
平时只要在application.properties中配置参数就可以了，在程序中就会自动进行读取。今天写的程序是可能存在多组配置项，就像多通道kafka同时接入到一个模块，要怎么配置参数呢？ 这里做一个小小的示例片段。 1.使用配置项的java /** * 连接通道的参数 * 使用list，使得模 ...
分类：
移动开发 时间：
2020-04-05 20:10:07
阅读次数：
736
