码迷,mamicode.com
首页 >  
搜索关键字:elk kafka rsyslog flume    ( 6983个结果
阿里云日志服务搜索关键字
场景 项目中接入了阿里云日志服务,比起以前自己搭建的ELK日志体系,云上的服务优点是接入简单,提供了易用的web ui界面方便查询日志。 省了自己搭建日志监控体系,但缺点是完全依赖云服务,没法自己定制,需要仔细阅读文档才能在日常工作更好地运用。 问题 昨天搜索某服务日志时遇到一个问题: 项目里的代码 ...
分类:其他好文   时间:2021-03-29 12:09:36    阅读次数:0
Kafka知识总结
一、概念和基本架构 1.1 kafka介绍 Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群中按照主题分类管理,一个主题可以有多个分区,一个分区可以有多个副本分区。每个记录由一个键,一个值和一个时间戳组成。Kafka只有消息的拉取,没有推送,可以通过轮询实现消息的推送 ...
分类:其他好文   时间:2021-03-26 15:32:23    阅读次数:0
kafka-python安装实践
pip install setuptools pip install kafka-python执行以上两个命令就可以安装成功。说明:setuptools是kafka-python的依赖库 ...
分类:编程语言   时间:2021-03-17 14:49:03    阅读次数:0
Kafka学习之路 (二)Kafka的架构
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干 ...
分类:其他好文   时间:2021-03-17 14:25:54    阅读次数:0
大数据技术01---学习路径
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了,因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类:其他好文   时间:2021-03-17 14:04:41    阅读次数:0
Docker部署ELK之部署elasticsearch7.6.0(1)
1. 拉取elasticsearch7.6.0镜像: sudo docker pull elasticsearch:7.6.0 2. 输入命令,构建容器: sudo docker run --name es1 -e 'discovery.type=single-node' --network=myn ...
分类:其他好文   时间:2021-03-17 14:02:05    阅读次数:0
【记录】【springboot】【kafka】【KafkaStreams】报错Use a different TimestampExtractor to process this data
问题:springboot集成kafka,并由KafkaStreams处理,启动报错 org.apache.kafka.streams.errors.StreamsException: Input record ConsumerRecord(topic = crawler_events, parti ...
分类:编程语言   时间:2021-03-16 14:11:28    阅读次数:0
Flink实时计算topN热榜
TopN的常见应用场景,最热商品购买量,最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源; 基于 EventTime 处理,如何指定 Watermark; Flink中的Window,滚动(tumbling)窗口与滑动(sliding)窗口; State状态的使用; P ...
分类:其他好文   时间:2021-03-12 13:00:59    阅读次数:0
flume interceptors flume拦截器
flume用户自定义拦截器.创建flume-demo的maven项目. 创建项目文件POM.xml. <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1. ...
分类:Web程序   时间:2021-03-09 13:52:58    阅读次数:0
生成环境 经常使用 taildir : 支持断点续传
配置文件 flume-taildir-logger.conf: # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. ...
分类:其他好文   时间:2021-03-08 13:38:15    阅读次数:0
6983条   上一页 1 ... 7 8 9 10 11 ... 699 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!