kafka急速入门与核心API kafka急速入门与核心API解析 kafka环境安装 上一节课我们已经对kafka的基本概念、核心思想有了一定的了解和认知，并且掌握了kafka在实际工作中的一些主要的应用场景。那么接下来，我们就一起快速进入kafka的安装吧。 kafka下载地址：http://k ...
Kafka-消费者-偏移量的提交方式 每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，可以追踪到哪些记录是被群组里的哪个消费者读取的。 更新分区当前位置的操作叫做提交。 消费者往一个叫做 _consumer_offset的特殊主题发送消息，消息里包含每个分区的 ...
分类：
其他好文 时间：
2020-04-06 15:43:22
阅读次数：
74
Kafka-再均衡监听器 在为消费者分配新分区或移除旧分区时，可以通过消费者API执行一些应用程序代码，在调用subscribe()方法时传进去一个ConsumerRebalanceListener实例就可以了。 public void onPartitionsRevoked(Collection< ...
分类：
其他好文 时间：
2020-04-06 15:36:29
阅读次数：
89
前言背景 消息系统经过多年使用和运维管理平台开发迭代，能较好支持支撑业务发展，公司主流语言为java，但缺乏一个基于Kafka二次封装简单好用的java客户端。遇到问题如下所示： 使用好kafka客户端对业务要求高，非专业技术方向很难有精力全面掌握 异常情况会catch不全 客户端生产消息及双活机房 ...
分类：
其他好文 时间：
2020-04-06 15:21:49
阅读次数：
81
记录下和kafka相关的LEO和HW的内容，文中很多理解参考文末书籍还有某前辈。 LEO&HW基本概念 1. Base Offset：是起始位移，该副本中第一条消息的offset，如下图，这里的起始位移是0，如果一个日志文件写满1G后（默认1G后会log rolling），这个起始位移就不是0开始了 ...
分类：
其他好文 时间：
2020-04-06 13:28:48
阅读次数：
152
一.整合kafka(生产者)步骤1.导入依赖(pom.xml)2.编写配置文件,修改配置文件的ip和端口号,修改主题(producer.xml)3.如果再ssm项目中可以让spring.xml来加载这个配置文件 <import resource="classpath:XXX.xml" /> 如果是再 ...
分类：
编程语言 时间：
2020-04-06 10:04:41
阅读次数：
84
平时只要在application.properties中配置参数就可以了，在程序中就会自动进行读取。今天写的程序是可能存在多组配置项，就像多通道kafka同时接入到一个模块，要怎么配置参数呢？ 这里做一个小小的示例片段。 1.使用配置项的java /** * 连接通道的参数 * 使用list，使得模 ...
分类：
移动开发 时间：
2020-04-05 20:10:07
阅读次数：
736
Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如 ps -ef | grep kafka 可以看到kafka这个程序的进程id 可以看到是2913，现在可以使用如下命令查看内存： top -p 2913 这样可以动态实时的看到CPU和内存的占用率，然后按q键回到命令行 ...
分类：
系统相关 时间：
2020-04-05 09:50:06
阅读次数：
86
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
