要查看kafka log保存的位置，可以打开kafka安装路径下的config文件夹( kafka_2.13-2.5.0\config) , 然后打开server.properties查看 log.dirs 默认位置是 log.dirs=/tmp/kafka-logs，这个路径是kafka安装路径的 ...
分类：
其他好文 时间：
2020-05-22 19:27:14
阅读次数：
76
问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 ...
分类：
其他好文 时间：
2020-05-22 19:12:15
阅读次数：
88
为什么用Redis 是什么 一个小程序 缓存 & 数据库 单线程worker 新版本：IO threads epoll：多路复用 速度 硬盘：寻址时间ms，带宽（吞吐）百兆~G/s（固态硬盘pci-e nvme） 内存：寻址时间ns，比硬盘快10w倍 文件 全量扫描（高IO），过大（T级）时，查询会 ...
分类：
数据库 时间：
2020-05-22 19:09:54
阅读次数：
97
Consumer 端有个位移的概念 它和消息在分区中的位移不是一回事儿 Consumer 的消费位移，它记录了 Consumer 要消费的下一条消息的位移。这可能和你以前了解的有些出入，不过切记是下一条消息的位移，而不是目前最新消费消息的位移 Consumer 需要向 Kafka 汇报自己的位移数据 ...
分类：
其他好文 时间：
2020-05-21 16:37:14
阅读次数：
68
JAVA并发编程实战 Brian Goetz深入理解kafka：核心设计与实践原理Maven实战Grale实战Spring实战（第四版）Spring源码深度解析（第2版）从Paxos到ZooKeeper分布式一致性原理实战MySQL技术内幕 InnoDB存储引擎 第2版MyBatis从入门到精通Mo ...
分类：
其他好文 时间：
2020-05-21 11:59:54
阅读次数：
59
Spring Boot 2.3.0 已经发布，此版本主要更新内容包括： 依赖升级 新版本核心组件依赖升级 Spring Data Neumann Spring HATEOAS 1.1 Spring Integration 5.3 Spring Kafka 2.5 Spring Security 5. ...
分类：
编程语言 时间：
2020-05-21 00:14:26
阅读次数：
180
消费者组（consumer group） 官方定义： 消费者使用一个消费者组（即group.id）来标记自己，topic的每条消息都只会被发送到每个订阅它的消费者组的一个消费者实例上。 基本概念 ~~~text 所有consumer实例都属于相同group 实现基于队列的模型。每条消息只会被一个co ...
分类：
其他好文 时间：
2020-05-20 17:16:33
阅读次数：
48
1 1:监控端口数据官方案例 2 vim flume-netcat-logger.conf 3 添加内容如下： 4 # Name the components on this agent 5 a1.sources = r1 6 a1.sinks = k1 7 a1.channels = c1 8 9 ...
分类：
其他好文 时间：
2020-05-20 14:27:35
阅读次数：
74
1 导入pom依赖 2 <dependencies> 3 <dependency> 4 <groupId>org.apache.flume</groupId> 5 <artifactId>flume-ng-core</artifactId> 6 <version>1.7.0</version> 7 ...
分类：
其他好文 时间：
2020-05-20 14:03:09
阅读次数：
60
kafka 相信都有听说过，不管有没有用过，在江湖上可以说是大名鼎鼎，就像天龙八部里的乔峰。国际惯例，先介绍生平事迹 简介 Kafka 是由 Apache软件基金会 开发的一个开源流处理平台，由 Scala 和 Java 编写。Kafka是一种高吞吐量的 分布式 ，支持分区（partition），多 ...
分类：
Web程序 时间：
2020-05-20 12:19:58
阅读次数：
73
