需求背景一位朋友的公司研发最近有一些苦恼。由于他们公司的后台服务有三台,每当后台服务运行异常,需要看日志排查错误的时候,都必须开启3个ssh端口进行查看,研发们觉得很不方便,于是便有了统一日志收集与查看的需求。这里,我用ELK集群,通过收集三台后台服务的日志,再统一进行日志展示,实现了这一需求。当然,当前只是进行了简单的日志采集,如果后期相对某些日志字段进行分析,则可以通过logstash以及Ki
分类:
其他好文 时间:
2018-01-02 11:27:17
阅读次数:
142
cfssl生成证书 filebeat多输入(不能多输出)参考: https://www.elastic.co/guide/en/beats/filebeat/current/migration configuration.html filebeat配置ssl wireshark抓包: 看不到任何传输 ...
分类:
其他好文 时间:
2017-12-24 12:46:26
阅读次数:
452
ELK简介 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 其中,Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要负责将日志索引并存储起来,方便 ...
分类:
其他好文 时间:
2017-12-23 16:00:32
阅读次数:
203
配置结构以及插件位置 输入插件: input{ … } 过滤插件: filter{ … } 输出插件: output{ … } 数据类型 - Array users => [{id => 1,name => N1},{id => 2,name => N2}] - lists path => ["/v... ...
分类:
其他好文 时间:
2017-12-21 00:13:05
阅读次数:
236
配置Filebeat输出到Logstash Logstash中配置Filebeat输入 使用Grok Filter插件解析日志 使用Geoip插件丰富数据 将数据索引到Elasticsearch 多个输入输出插件配置介绍来自为知笔记(Wiz) ...
分类:
其他好文 时间:
2017-12-21 00:10:14
阅读次数:
135
过滤器插件: grok mutate split 编码插件: json multiline 输出插件: stdout file 输入插件: stdin file来自为知笔记(Wiz) ...
分类:
其他好文 时间:
2017-12-21 00:04:49
阅读次数:
188
1.解压logstash2.2.2后台,进入到etc目录下,创建logstash-simple.conf,添加如下配置,根据自己的环境修改 input { jdbc { jdbc_driver_library => "/usr/local/elasticsearch-2.2.1/mysqldrive ...
分类:
数据库 时间:
2017-12-20 16:59:59
阅读次数:
262
2017/12/17_第1次修改 ccb_warlock ELK(elasticsearch、logstash、kibana)可以作为日志收集及分析的一整套系统,通过阿里的普及也有越来越多的公司在使用,使用下来功能还可以,这里整理记录一个部署手册。 为了方便,将ELK都部署在一台os里。 一、环境准 ...
分类:
其他好文 时间:
2017-12-18 01:30:45
阅读次数:
393
一、介绍 总共4台机器,分别为 192.168.1.99 192.168.1.100 192.168.1.210 192.168.1.211 服务所在机器为: redis:192.168.1.211 logstash: 192.168.210 192.168.1.211 elasticsearch: ...
分类:
其他好文 时间:
2017-12-16 17:10:45
阅读次数:
386
ELK是三款软件的总称,包括了elasticsearch、logstash、kibana,其实在生产使用中,我们还需要使用到其他的更多辅助软件来更好更合理的收集展示数据。 Elasticsearch:一个分布式的搜索查询服务器,提供了rest接口 Logstash:收集处理并传出日志,他安装在需要被 ...
分类:
其他好文 时间:
2017-12-15 19:36:23
阅读次数:
292