Kafka快速入门（五）——Kafka管理一、Kafka工具脚本简介1、Kafka工具脚本简介Kafka默认提供了很多个命令行脚本，用于实现各种各样的功能和运维管理。默认情况下，不加任何参数或携带--help运行Kafkashell脚本根据，会得到脚本的使用方法说明。connect-standalone.sh用于启动单节点的Standalone模式的KafkaConnect组件。connect-d
分类：
其他好文 时间：
2020-05-24 09:17:35
阅读次数：
55
NETCORE - CAP的使用 CAP 同时支持使用 RabbitMQ，Kafka，Azure Service Bus 等进行底层之间的消息发送。 CAP 目前支持使用 Sql Server，MySql，PostgreSql，MongoDB 数据库的项目。 安装部署RabbbitMQ：https: ...
分类：
Web程序 时间：
2020-05-23 20:19:57
阅读次数：
85
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
要查看kafka log保存的位置，可以打开kafka安装路径下的config文件夹( kafka_2.13-2.5.0\config) , 然后打开server.properties查看 log.dirs 默认位置是 log.dirs=/tmp/kafka-logs，这个路径是kafka安装路径的 ...
分类：
其他好文 时间：
2020-05-22 19:27:14
阅读次数：
76
问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 ...
分类：
其他好文 时间：
2020-05-22 19:12:15
阅读次数：
88
为什么用Redis 是什么 一个小程序 缓存 & 数据库 单线程worker 新版本：IO threads epoll：多路复用 速度 硬盘：寻址时间ms，带宽（吞吐）百兆~G/s（固态硬盘pci-e nvme） 内存：寻址时间ns，比硬盘快10w倍 文件 全量扫描（高IO），过大（T级）时，查询会 ...
分类：
数据库 时间：
2020-05-22 19:09:54
阅读次数：
97
Consumer 端有个位移的概念 它和消息在分区中的位移不是一回事儿 Consumer 的消费位移，它记录了 Consumer 要消费的下一条消息的位移。这可能和你以前了解的有些出入，不过切记是下一条消息的位移，而不是目前最新消费消息的位移 Consumer 需要向 Kafka 汇报自己的位移数据 ...
分类：
其他好文 时间：
2020-05-21 16:37:14
阅读次数：
68
JAVA并发编程实战 Brian Goetz深入理解kafka：核心设计与实践原理Maven实战Grale实战Spring实战（第四版）Spring源码深度解析（第2版）从Paxos到ZooKeeper分布式一致性原理实战MySQL技术内幕 InnoDB存储引擎 第2版MyBatis从入门到精通Mo ...
分类：
其他好文 时间：
2020-05-21 11:59:54
阅读次数：
59
Spring Boot 2.3.0 已经发布，此版本主要更新内容包括： 依赖升级 新版本核心组件依赖升级 Spring Data Neumann Spring HATEOAS 1.1 Spring Integration 5.3 Spring Kafka 2.5 Spring Security 5. ...
分类：
编程语言 时间：
2020-05-21 00:14:26
阅读次数：
180
消费者组（consumer group） 官方定义： 消费者使用一个消费者组（即group.id）来标记自己，topic的每条消息都只会被发送到每个订阅它的消费者组的一个消费者实例上。 基本概念 ~~~text 所有consumer实例都属于相同group 实现基于队列的模型。每条消息只会被一个co ...
分类：
其他好文 时间：
2020-05-20 17:16:33
阅读次数：
48
