ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVAAPI等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstas..
分类：
其他好文 时间：
2017-08-14 22:27:33
阅读次数：
199
由于logstash太过臃肿，CPU和内存使用过大，我们需要一个性能好，资源消耗低的替代品。fluentd就是我们想要的。测试表明，在相同负载情况下，fluentd的性能数倍于logstash。由于CentOS7自带ruby版本过低，本文使用ruby2.4.1安装fluentd.1、卸载自带的rubyyumremoveruby-y2、安..
分类：
其他好文 时间：
2017-08-14 22:22:44
阅读次数：
2419
前言：刚上线elk一个月左右，使用的kafka作为缓存队列，但是不知道为何，中间发生过好几次，elk突然没数据了，长达好几天都没有， 折腾了好久，好了，过几天又发生同样的状况。经查找，数据是有到达kafka，但是logstash读取不了。无奈之下，只能把kafka 更换为redis。 filebea ...
分类：
其他好文 时间：
2017-08-14 14:22:13
阅读次数：
475
原文：http://www.sohu.com/a/136276885_262549 在可维护性，可靠性，效率和安全性方面，DevOps 为私有云在改进操作流程方面发挥着重要的作用。私有云是一个由许多硬件和软件组件组成的复杂系统。 对于任何支持的企业组织，操作流程的自动化和文档记录，规划变更和跟踪应用 ...
分类：
其他好文 时间：
2017-08-07 11:48:01
阅读次数：
192
1. 基本语法%{NUMBER:duration} %{IP:client} 2. 支持的数据类型默认会把所有的匹配都当作字符串，比如0.043， 想要转成浮点数，可以%{NUMBER:num:float}匹配，目前只支持int和float两种。3. 举例说明有下面一段http日志：55.3.244 ...
分类：
其他好文 时间：
2017-08-06 10:39:57
阅读次数：
127
ELKR分布式搭建nginx日志分析系统一.名词介绍1、什么是elkELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash和Kibana。这三款软件都是开源软件，通常是配合使用。2、Elasticsearch2.1.Elasticsearch介绍Elasticsearch是一个实..
分类：
其他好文 时间：
2017-08-04 16:09:59
阅读次数：
186
pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOW PROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析. 下载： pt-query-digest是一个perl脚本，只需下载 ...
分类：
其他好文 时间：
2017-08-03 18:08:08
阅读次数：
232
YUM安装logstash下载安装公钥：rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch创建logstash.repo:vim/etc/yum.repos.d/logstatsh.repo[logstash-5.x]
name=Elasticrepositoryfor5.xpackages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=..
分类：
其他好文 时间：
2017-08-03 10:01:15
阅读次数：
159
版权声明：本文为博主原创文章，未经博主允许不得转载。 版权声明：本文为博主原创文章，未经博主允许不得转载。 工具简介 pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过t ...
分类：
其他好文 时间：
2017-08-02 16:28:59
阅读次数：
258
数据类型 字段引用： [field_name] "the longitude is %{[geoip][location][0]}" 条件判断 命令行参数： 输入插件 1 标准输入 type：标记事件类型 tags：在数据处理过程中，由具体的插件来添加和删除的。 ？？？ 2 读取文件 start_p ...
分类：
其他好文 时间：
2017-08-01 15:37:04
阅读次数：
208
