一、简介 pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行 ...
分类：
其他好文 时间：
2018-08-06 19:23:13
阅读次数：
232
官方地址：https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html 配置文件写法: # 日志导入input {}# 日志筛选匹配处理filter {}# 日志匹配输出output {} 日志解析配置文件 ...
分类：
其他好文 时间：
2018-08-05 13:09:11
阅读次数：
778
使用beats采集日志 之前也介绍过beats是ELK体系中新增的一个工具，它属于一个轻量的日志采集器，以上我们使用的日志采集工具是logstash，但是logstash占用的资源比较大，没有beats轻量，所以官方也推荐使用beats来作为日志采集工具。而且beats可扩展，支持自定义构建。 官方 ...
分类：
其他好文 时间：
2018-08-03 14:47:43
阅读次数：
456
1、logstash是什么Logstash 是有管道输送能力的开源数据收集引擎。它可以动态地从分散的数据源收集数据，并且标准化数据输送到你选择的目的地。它是一款日志而不仅限于日志的搜集处理框架，将分散多样的数据搜集自定义处理并输出到指定位置。 2、logstash 原理logstash 原理非常简单 ...
分类：
其他好文 时间：
2018-08-02 20:41:11
阅读次数：
153
如题，logstash之filter处理中括号包围的内容： 摘出来数组中的所有fields 感谢时总的大力支持！！！ 核心就是正则！ match => { "message" => "^\[%{GREEDYDATA:request}\]$" } ...
分类：
其他好文 时间：
2018-08-02 12:19:52
阅读次数：
825
说明: mariadb audit log是 mariadb 的审计日志 目的是把日志拆分成 tab 键分隔的字段 直接附上 fluentd 配置文件 fluentd 比 logstash 内存占用大大下降 分析同样的日志 logstash 占用700M, fluentd 占用35M 不过 cpu ...
分类：
数据库 时间：
2018-07-31 22:10:59
阅读次数：
389
消息队列作为分布式系统中重要的组件，可以解决应用耦合，异步消息，流量削锋等系列问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场 ...
分类：
其他好文 时间：
2018-07-30 16:40:01
阅读次数：
145
ElasticSearch 下载地址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch 5.4.1.tar.gz 依赖环境： java 参考地址：https://www.elastic.co/downloads/e ...
分类：
其他好文 时间：
2018-07-29 23:30:54
阅读次数：
308
logstash解析系统日志的写法，output中的stdout为调试，生产可以移除input{redis{host=>"192.168.1.181"port=>6379db=>"0"data_type=>"list"key=>"815"}}filter{grok{match=>{"message"=>"%{SYSLOGLINE}"}}mutate{rem
分类：
其他好文 时间：
2018-07-27 16:58:20
阅读次数：
583
场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elasticsearch->kibana 3） datasource->filebeat->logstash->redis/ ...
分类：
其他好文 时间：
2018-07-27 16:57:25
阅读次数：
355
