Redis作为消息队列升级为KafKa记录项目当中运营人员发送指定匹配用户(最高用户量几十万的级别)特定的消息,所以这块是确确实实需要使用专业级别的消息队列中间件的,但是可能由于当时开发的各种历史原因导致使用了Redis的队列结构来作为消息队里lpush,blpop等命令,项目开发进展到现在,用户量 ...
分类:
其他好文 时间:
2020-01-09 19:14:22
阅读次数:
234
今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡: 今天检查 kafka manager 发现了一个 __consumer_offsets 主题(消费者分区位移保存主题)的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布 ...
分类:
其他好文 时间:
2020-01-09 18:39:38
阅读次数:
83
//暂停kafka的消费 暂停分区的分配consumer.unsubscribe();//此处不取消订阅暂停太久会出现订阅超时的错误consumer.pause(consumer.assignment());//重新消费分区,此处不重新分配会出错 this.open(null,null,null); ...
分类:
其他好文 时间:
2020-01-09 18:39:24
阅读次数:
1033
温馨提示:本文基于 Kafka 2.2.1 版本。 上文 "《源码分析 Kafka 消息发送流程》" 已经详细介绍了 KafkaProducer send 方法的流程,该方法只是将消息追加到 KafKaProducer 的缓存中,并未真正的向 broker 发送消息,本文将来探讨 Kafka 的 S ...
分类:
编程语言 时间:
2020-01-08 21:24:40
阅读次数:
215
1 上游业务系统向kakfa推送的数据全部应为 字符串类型,使用的时候 转换成需要的类型,保证数据可以类型转换2 为了便于后续 kafka数据校对,建议把推送数据来自的数据库主键id,也一起推送过来(一般数据推送流程:业务过程 --> 插入DB(返回主键id) --> 推送kafka) 3 所有金额 ...
分类:
其他好文 时间:
2020-01-08 19:26:48
阅读次数:
130
我在要完成这个需求的时候大概有两个思路。 第一种方法: 我们直接使用 Kafka 提供的 bin 工具,去把我们关心的 lag 值 show 出来然后通过代码处理一下报出来。例如: 我们可以起个远程的 cmd 脚本,定期去执行 kafka-consumer-groups.sh 工具然后通过 awk ...
分类:
编程语言 时间:
2020-01-08 19:08:27
阅读次数:
102
查询端口号开放情况: 查看该端口被那个PID所占用;方法一:有针对性的查看端口,使用命令: netstat –ano|findstr “<端口号>” netstat -a 对外开放端口号参考https://www.cnblogs.com/zhurong/p/9398602.html 前记 Kafka ...
1、创建集群 http://kafka.apache.org/documentation/#quickstart 有一句我觉得特别重要: For Kafka, a single broker is just a cluster of size one. 1.1、命令行操作 #解压文件 tar -zx ...
分类:
编程语言 时间:
2020-01-08 12:49:43
阅读次数:
100
1.SASL认证机制版本支持 SASL/GSSAPI (Kerberos) - starting at version 0.9.0.0SASL/PLAIN - starting at version 0.10.0.0SASL/SCRAM-SHA-256 and SASL/SCRAM-SHA-512 ...
分类:
其他好文 时间:
2020-01-07 13:14:40
阅读次数:
105
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统,接着由 Spark Streaming 消费 Kafka 中的消息,同时消费记录由 Zookeeper 集群统一管理,这样即使 Kaf ...
分类:
其他好文 时间:
2020-01-07 11:44:25
阅读次数:
100