码迷,mamicode.com
首页 >  
搜索关键字:flume kafka topic覆盖    ( 5097个结果
Redis消息队列和KafKa优劣对比
Redis作为消息队列升级为KafKa记录项目当中运营人员发送指定匹配用户(最高用户量几十万的级别)特定的消息,所以这块是确确实实需要使用专业级别的消息队列中间件的,但是可能由于当时开发的各种历史原因导致使用了Redis的队列结构来作为消息队里lpush,blpop等命令,项目开发进展到现在,用户量 ...
分类:其他好文   时间:2020-01-09 19:14:22    阅读次数:234
Kafka 进行机器扩容后的副本再平衡 和 为已有分区增加 replica 实践
今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡: 今天检查 kafka manager 发现了一个 __consumer_offsets 主题(消费者分区位移保存主题)的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布 ...
分类:其他好文   时间:2020-01-09 18:39:38    阅读次数:83
kafka的暂停消费和重新开始消费问题
//暂停kafka的消费 暂停分区的分配consumer.unsubscribe();//此处不取消订阅暂停太久会出现订阅超时的错误consumer.pause(consumer.assignment());//重新消费分区,此处不重新分配会出错 this.open(null,null,null); ...
分类:其他好文   时间:2020-01-09 18:39:24    阅读次数:1033
KafkaProducer Sender 线程详解(含详细的执行流程图)
温馨提示:本文基于 Kafka 2.2.1 版本。 上文 "《源码分析 Kafka 消息发送流程》" 已经详细介绍了 KafkaProducer send 方法的流程,该方法只是将消息追加到 KafKaProducer 的缓存中,并未真正的向 broker 发送消息,本文将来探讨 Kafka 的 S ...
分类:编程语言   时间:2020-01-08 21:24:40    阅读次数:215
kafka数据接口定义最佳实践
1 上游业务系统向kakfa推送的数据全部应为 字符串类型,使用的时候 转换成需要的类型,保证数据可以类型转换2 为了便于后续 kafka数据校对,建议把推送数据来自的数据库主键id,也一起推送过来(一般数据推送流程:业务过程 --> 插入DB(返回主键id) --> 推送kafka) 3 所有金额 ...
分类:其他好文   时间:2020-01-08 19:26:48    阅读次数:130
使用 Python 监控 Kafka Consumer LAG
我在要完成这个需求的时候大概有两个思路。 第一种方法: 我们直接使用 Kafka 提供的 bin 工具,去把我们关心的 lag 值 show 出来然后通过代码处理一下报出来。例如: 我们可以起个远程的 cmd 脚本,定期去执行 kafka-consumer-groups.sh 工具然后通过 awk ...
分类:编程语言   时间:2020-01-08 19:08:27    阅读次数:102
Windows系统 查询已开通的端口号和对外开放端口号
查询端口号开放情况: 查看该端口被那个PID所占用;方法一:有针对性的查看端口,使用命令: netstat –ano|findstr “<端口号>” netstat -a 对外开放端口号参考https://www.cnblogs.com/zhurong/p/9398602.html 前记 Kafka ...
分类:Windows程序   时间:2020-01-08 12:56:31    阅读次数:608
Spring Boot Kafka
1、创建集群 http://kafka.apache.org/documentation/#quickstart 有一句我觉得特别重要: For Kafka, a single broker is just a cluster of size one. 1.1、命令行操作 #解压文件 tar -zx ...
分类:编程语言   时间:2020-01-08 12:49:43    阅读次数:100
kafka sasl/plain安全认证
1.SASL认证机制版本支持 SASL/GSSAPI (Kerberos) - starting at version 0.9.0.0SASL/PLAIN - starting at version 0.10.0.0SASL/SCRAM-SHA-256 and SASL/SCRAM-SHA-512 ...
分类:其他好文   时间:2020-01-07 13:14:40    阅读次数:105
【转】Spark Streaming 实时计算在甜橙金融监控系统中的应用及优化
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统,接着由 Spark Streaming 消费 Kafka 中的消息,同时消费记录由 Zookeeper 集群统一管理,这样即使 Kaf ...
分类:其他好文   时间:2020-01-07 11:44:25    阅读次数:100
5097条   上一页 1 ... 84 85 86 87 88 ... 510 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!