架构如下，logstash-agent---->redis---->logstash-server----->elasticsearch---->kibana需求：想收集多个log文件，例如/var/log/messages,/var/log/logstash/logstash.err两个日志文件；logstashinput和output如何写，input{file{path=>"/var/log/messages"ty..
分类：
其他好文 时间：
2017-09-20 16:37:08
阅读次数：
186
一、简介Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的“存储库”中。（我们的存储库当然是Elasticsearch。）可以用三个词来概括Logstash：集中、转换和存储数据输入采集各种样式、大小和来源的数据数据往往以各种..
分类：
其他好文 时间：
2017-09-16 18:51:12
阅读次数：
177
一、环境 系统：centos 6.5 JDK：1.8 Elasticsearch-5.2.2 Logstash-5.2.2 kibana-5.2.2 二、安装 1、安装JDK 下载JDK：http://www.oracle.com/technetwork/java/javase/downloads/ ...
分类：
其他好文 时间：
2017-09-15 18:49:51
阅读次数：
250
一）简介elk系统是一套目前较为流行的日志收集分析系统，主要由elasticserch,logstash,kibana三部分组成，其中elasticsearch负责数据的存储，logstash负责日志的收集过滤，kibana负责日志的可视化部分。整个工作流程为logstash收集日志，过滤后输出并保存到elasticsearch中，最..
分类：
其他好文 时间：
2017-09-12 23:18:32
阅读次数：
248
利用ELK+redis搭建一套nginx日志分析平台。使用Elasticsearch+Logstash+Kibana+redis来搭建nginx日志监控分析。nginx的每个请求状态等都有日志文件来记录，可以通过读取日志文件来分析；logstash有agent（Shipper）和server（Indexer)端，agent端负责监控本地日志文件的变化，..
分类：
其他好文 时间：
2017-09-11 23:03:26
阅读次数：
310
ELK自动安装脚本一、简介ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以..
分类：
其他好文 时间：
2017-09-11 18:09:06
阅读次数：
219
Logstash主要做由三部署组成： 下面来安装一下： 在logstash-2.3.2目录下创建文件shipper.conf并配置： 在logstash-2.3.2目录下创建文件indexer.conf并配置： 下面就可以启动了，命令如下： 然后再打开一个命令终端，改变被监控的日志内容： 如下图： ...
分类：
其他好文 时间：
2017-09-09 22:31:24
阅读次数：
155
架构说明app-server(filebeat)->kafka->logstash->elasticsearch->kibana服务器用途说明系统基础环境
#cat/etc/redhat-release
CentOSrelease6.5(Final)
#uname-r
2.6.32-431.el6.x86_64
192.168.162.51logstash01
192.168.162.53logstash02
192.168.162.55logs..
分类：
其他好文 时间：
2017-09-08 22:52:58
阅读次数：
381
数据流向：metricbeat->kafka->logstash->elasticsearch->kibana.应用分布：主机应用备注192.168.30.121javaversion"1.8.0_144"zookeeper-3.4.10.tar.gzkafka_2.12-0.11.0.0.tgzelasticsearch-5.5.1.tar.gzlogstash-5.5.1.tar.gzkibana-5.5.1-linux-x86_64.tar.gz1..
分类：
其他好文 时间：
2017-09-08 18:30:08
阅读次数：
210
转自：http://fordba.com/optimize-an-amazing-mysql-slowlog.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io 一、前言 开发需要定期的删除表里一定时间以前的数据，SQL如 ...
分类：
数据库 时间：
2017-09-07 14:52:49
阅读次数：
218
