log_format logstash "remote_addr | $time_local | $request | $status | $body_bytes_sent | " "$request_body | $content_length | $http_referer | $http_us ...
分类：
其他好文 时间：
2017-01-05 13:26:57
阅读次数：
252
elk日志数据导出SkiptoendofmetadataGotostartofmetadataelk原始日志存放要求原始日志存放路径：/data/es/elasticsearch/nodes/0/indices原始日志名称格式：logstash-type-20xx.xx.xx（其中type为日志的类型，如nginx）日志数据导出的要求li‘y日志数据导出后存放路径：/data/el..
分类：
其他好文 时间：
2017-01-05 12:20:47
阅读次数：
196
LogStash.conf input { file { type => "iis_log" path => ["C:/inetpub/logs/LogFiles/W3SVC2/u_ex*.log"] } } filter { #ignore log comments if [message] =~... ...
分类：
其他好文 时间：
2017-01-04 18:51:42
阅读次数：
406
使用Nginx和Logstash以及kafka来实现网站日志采集的详细步骤和过程 环境介绍： linux虚拟机3台，主机名分别为hadoop01、hadoop02和hadoop03; 在这3台虚拟机上分别部署了3个Zookeeper，这里Zookeeper的具体安装步骤不做介绍; 在这3台虚拟机上分... ...
分类：
Web程序 时间：
2017-01-01 10:58:15
阅读次数：
1766
III26ELKELK（elasticsearch、logstash、kibana）ElasticStack是原ELKStack在5.0版本加入Beats套件后的新称呼解决痛点：开发人员不能登录线上server查看详细日志；各个系统都有日志，日志数据分散难以查找；日志数据量大，查询速度慢，或数据不够实时；一个调用会涉及多个系统..
分类：
其他好文 时间：
2016-12-30 22:26:49
阅读次数：
578
ELK是对Elasticsearch、Logstash、Kibana整合平台的简称。在日常的运维工作中，要实时监控服务器的业务、系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日..
分类：
其他好文 时间：
2016-12-30 14:30:55
阅读次数：
379
我们用ELK做日志分析系统，Elasticsearch1.7.3运行了近一年，最近已经将一个集群升级到ES5.1.1，但是遇到问题比较多。所以将另一个集群升级到社区推荐比较稳定的2.4.2。为了便于升级管理，操作都是用ansible来统一执行。一：停止monit守护进程#集群的所有logstash、es进程都是..
分类：
其他好文 时间：
2016-12-26 19:22:50
阅读次数：
342
我的虚拟机中在安装GoAccess的时候，说找不到GeoIP...尴尬。 这里暂时不说GeoIP的事情，我想更新一下我的yum源，因为我系统（Centos 6.5）使用的是默认的源。速度比较慢，这里先换一下源，我采用的是阿里的源。 第一步：备份你的原镜像文件，以免出错后可以恢复。 第二步：下载新的C ...
分类：
其他好文 时间：
2016-12-25 23:29:37
阅读次数：
253
ELK是一个日志分析和统计框架，是Elasticsearch、Logstash和Kibana三个核心开源组件的首字母缩写，实践中还需要filebeat、redis配合完成日志的搜集。 组件一览 名称 版本 说明 Elasticsearch 2.3 分布式搜索引擎，存储和搜索日志 Logstash 2 ...
分类：
其他好文 时间：
2016-12-23 18:36:09
阅读次数：
164
在logstash的输出中，每行开头都会加上timestamp因此，对于mysqlslowlog和javalog
多行输出格式，就显得画蛇添足了；不过，logstash提供了multiline功能
filter{
#如果是以#Time开头的就开始新一行
if[type]==‘slowlog‘{
multiline{
what=>next
pattern=>"^#Time:"
#如..
分类：
数据库 时间：
2016-12-22 20:41:34
阅读次数：
213
