ELK系统主要由三部分组成，各自是elasticsearch、logstash、kibana。 ELK系统收到推送过来的日志后。首先由logstash解析日志中的字段，分解成一个一个的关键字。elasticsearch将关键字与日志信息关联起来，以一种特定的格式化方式存储数据到硬盘。kibana提供 ...
分类：
其他好文 时间：
2017-08-01 14:42:49
阅读次数：
197
慢查询日志是 Redis 提供的一个用于观察系统性能的功能 相关数据结构 每条慢查询日志都以一个 slowlog.h/slowlogEntry 结构定义： typedef struct slowlogEntry { // 命令参数 robj **argv; // 命令参数数量 int argc; / ...
分类：
其他好文 时间：
2017-07-29 15:26:42
阅读次数：
285
1概述ELK套件（ELKstack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。由于三个软件各自的版本号太多，建议采用ElasticSearch官网推荐的搭配组合：http://www.elasticsearch.org/overview/elkdownloads/2环境准备2.1软件要求本文把..
分类：
其他好文 时间：
2017-07-27 22:49:16
阅读次数：
255
之前搭建logstash的时候使用过elasticsearch。 刚好最近在公司也用到了es，写篇水文记录一下也当做笔记吧。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，使用RESTful web暴露接口。 它有许多特性，比如以下几个属性 ...
分类：
其他好文 时间：
2017-07-27 00:52:49
阅读次数：
134
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2017-07-26 18:10:59
阅读次数：
1037
filebeat用于是日志收集，感觉和 flume相同，但是用go开发，性能比较好 在2.4版本中， 客户机部署logstash收集匹配日志，传输到 kafka，在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中，使用filebeat 收集日志，减少 ...
分类：
其他好文 时间：
2017-07-26 17:38:52
阅读次数：
976
上一篇里主要是介绍了ES和ES-Head的安装过程，这一篇继续介绍ELK集群的其他核心组件安装过程。 五、安装Logstash： 本案的Logstash安装在10.113.130.117上；燃鹅，Logstash也可以利用多台组成集群，如果未来单台处理不过来，可以把Logstash扩展到其他服务器上 ...
分类：
其他好文 时间：
2017-07-22 19:40:36
阅读次数：
878
Preparation 假设当前为root用户，并已有jdk1.8环境。 cd /opt/package useradd sealion ElasticSearch wget https://artifacts.elastic.co/downloads/elasticsearch/elasticse ...
分类：
其他好文 时间：
2017-07-19 18:28:38
阅读次数：
158
本文记录了三个配置文件：第一个：all.conf通过一个配置文件，配置输入输出，实例；第二个：shipper.conf配置logstash收集日志内容到redis里；第三个：indexer.conf配置logstash从redis里读取日志内容输出到Elasticsearch里。第二个跟第三个配置解耦收集日志ELK解耦logstash---..
分类：
其他好文 时间：
2017-07-12 15:20:58
阅读次数：
242
环境的困境（原因）1、开发人员不能登录线上服务器查看相信日志；2、各个系统都有日志，日志数据分散难以查找；3、日志数据量大，查询速度慢，或者数据不够及时。（状态码400的top10）收集->存储->统计->报警、、、ElasticSearch+Logstash+Kibana=ELKStack1、分布式全..
分类：
其他好文 时间：
2017-07-12 10:02:30
阅读次数：
474
