场景 项目中接入了阿里云日志服务,比起以前自己搭建的ELK日志体系,云上的服务优点是接入简单,提供了易用的web ui界面方便查询日志。 省了自己搭建日志监控体系,但缺点是完全依赖云服务,没法自己定制,需要仔细阅读文档才能在日常工作更好地运用。 问题 昨天搜索某服务日志时遇到一个问题: 项目里的代码 ...
分类:
其他好文 时间:
2021-03-29 12:09:36
阅读次数:
0
一、概念和基本架构 1.1 kafka介绍 Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群中按照主题分类管理,一个主题可以有多个分区,一个分区可以有多个副本分区。每个记录由一个键,一个值和一个时间戳组成。Kafka只有消息的拉取,没有推送,可以通过轮询实现消息的推送 ...
分类:
其他好文 时间:
2021-03-26 15:32:23
阅读次数:
0
pip install setuptools pip install kafka-python执行以上两个命令就可以安装成功。说明:setuptools是kafka-python的依赖库 ...
分类:
编程语言 时间:
2021-03-17 14:49:03
阅读次数:
0
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干 ...
分类:
其他好文 时间:
2021-03-17 14:25:54
阅读次数:
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了,因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类:
其他好文 时间:
2021-03-17 14:04:41
阅读次数:
0
1. 拉取elasticsearch7.6.0镜像: sudo docker pull elasticsearch:7.6.0 2. 输入命令,构建容器: sudo docker run --name es1 -e 'discovery.type=single-node' --network=myn ...
分类:
其他好文 时间:
2021-03-17 14:02:05
阅读次数:
0
问题:springboot集成kafka,并由KafkaStreams处理,启动报错 org.apache.kafka.streams.errors.StreamsException: Input record ConsumerRecord(topic = crawler_events, parti ...
分类:
编程语言 时间:
2021-03-16 14:11:28
阅读次数:
0
TopN的常见应用场景,最热商品购买量,最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源; 基于 EventTime 处理,如何指定 Watermark; Flink中的Window,滚动(tumbling)窗口与滑动(sliding)窗口; State状态的使用; P ...
分类:
其他好文 时间:
2021-03-12 13:00:59
阅读次数:
0
flume用户自定义拦截器.创建flume-demo的maven项目. 创建项目文件POM.xml. <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1. ...
分类:
Web程序 时间:
2021-03-09 13:52:58
阅读次数:
0
配置文件 flume-taildir-logger.conf: # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. ...
分类:
其他好文 时间:
2021-03-08 13:38:15
阅读次数:
0