Linux概述 消息对列(Kafka、RabbitMQ、RockeetMQ),缓存(Redis),搜索引擎(ES) 集群分布式(需要购买多台服务器,如果没服务器我们就只能使用虚拟机) 我们为什么要学Linux Linux的几个优点 免费(这个是大多数人的喜欢的吧) 很多软件原生是在Linux运行的, ...
分类:
系统相关 时间:
2020-07-01 09:24:00
阅读次数:
122
本文代码使用的是Spring Boot 2.1.1.RELEASE 版本 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version ...
分类:
编程语言 时间:
2020-06-30 13:00:18
阅读次数:
51
注:安装的kafka版本为kafka_2.10-0.8.2.1,zookeeper版本选的是zookeeper-3.4.14 一.下载zookeeper 官网下载zookeeper-3.4.14.tar.gz,解压到相应目录下: 解压后的目录包含(修改conf目录下的zoo_sample.cfg文件 ...
分类:
其他好文 时间:
2020-06-29 11:27:17
阅读次数:
50
作者:郑郑好victorzheng juejin.im/post/5baa54e1f265da0ac2566fb2 文章纲要 此次分享的缘由 目前分布式事务问题是怎么解决的 行业中有什么解决方案 这些解决方案分别有什么优缺点 别人是怎么做的 我们可以怎么来做 此次分享的缘由 支付重构 考虑支付重构的 ...
分类:
其他好文 时间:
2020-06-29 00:01:21
阅读次数:
525
max.poll.interval.ms参数用于指定consumer两次poll的最大时间间隔(默认5分钟),如果超过了该间隔consumer client会主动向coordinator发起LeaveGroup请求,触发rebalance;然后consumer重新发送JoinGroup请求 示例如下 ...
分类:
其他好文 时间:
2020-06-28 22:18:58
阅读次数:
547
前面说过了consumer心跳机制:consumer定期向coordinator发送心跳请求,以表明自己还在线;如果session.timeout.ms内未发送请求,coordinator认为其不可用,然后触发rebalance session.timeout.ms:coordinator感知con ...
分类:
其他好文 时间:
2020-06-28 18:30:22
阅读次数:
193
1、消费者组 kafka提供的一种可扩展可容错消费机制,某个topic的分区数据只能被组内的一个消费者消费,注:当指定了自动提交(enable.auto.commit=true)时,必须显式的指定消费者组ID(group.id) 2、消费位置和offset管理 消费者需要记录消费了多少数据,即消费位 ...
分类:
其他好文 时间:
2020-06-28 15:17:15
阅读次数:
51
如果要想在java客户端进行Kerberos认证,则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件:kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach ...
分类:
其他好文 时间:
2020-06-28 00:37:29
阅读次数:
94
使用了kerberos认证之后,整个kafka系统安全了,而且性能也保持着不错的状态,但是在实际中工作中kerberos未必都能够正常使用,也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中,作为消息生产者的数据来源可能非常的多,所以在这样的状态下,kerberos认证必须保留, ...
分类:
其他好文 时间:
2020-06-28 00:24:15
阅读次数:
64