logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(..
分类:
其他好文 时间:
2016-05-06 19:54:54
阅读次数:
265
首先说明,各工具的安装就不在这说明了,网上很多,可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来:
一、收集日志,我们使用flume工具
在日志服务器端布置agent发往收集collect,配置如下:
agent(可多个)
agent.sources = s1
agent.channels...
分类:
Web程序 时间:
2016-05-06 16:24:34
阅读次数:
1001
背景:目前业务中有个数据库数据大道3亿左右。如果直接从数据库进行查询,等待时间超过15分钟,用户很多时候想查看数据,只能写SQL在数据库中直接查询喝几杯茶后,结果还没出来。用户看到我们项目中使用到ES集群,于是希望将数据库中的数据同步到ES集群中。 软件版本:logstash-2.2.2 ,Elas ...
分类:
数据库 时间:
2016-05-03 17:51:33
阅读次数:
4121
ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用:用于处理传入的日志,负责收集、过滤和写出日志 Logstash分为三个组件input, ...
分类:
其他好文 时间:
2016-04-29 21:57:50
阅读次数:
215
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本:elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类:
其他好文 时间:
2016-04-29 15:04:07
阅读次数:
176
[root@mysql~]#cat/usr/local/logstash-2.2.0/etc/test1.conf
input{
#stdin{
#type=>"yeshuai"
#codec=>"json"
#}
file{
type=>"yeshuai"
path=>["/opt/log/test.log"]
start_position=>"beginning"
codec=>"json"
}
}
filter{
if[type]=="yeshuai"{
thro..
分类:
Web程序 时间:
2016-04-25 19:51:03
阅读次数:
468
input{
file{
type=>"java-err"
path=>"/fsmeeting/tomcat-service/logs/catalina.out"
tags=>"java-err"
codec=>multiline{
pattern=>"^%{TIMESTAMP_ISO8601}"
negate=>true
what=>"previous"
}
}
}
filter{
if[type]=="java-err"{
grok{
match=>{"m..
分类:
其他好文 时间:
2016-04-19 20:27:01
阅读次数:
2759
部署环境: centos 6.X jdk 1.7 elasticsearch 2.3.1 https://www.elastic.co/downloads/elasticsearch logstash 2.3.1 https://www.elastic.co/downloads/logstash K ...
分类:
其他好文 时间:
2016-04-15 13:42:24
阅读次数:
688
exportJAVACMD=`whichjava`
分类:
编程语言 时间:
2016-04-14 19:34:59
阅读次数:
857
一下是我在单位对haproxy进行日志分析的一整套流程我们一直都是处在维护es集群的配置,并没有把一整套流程包括收集端的代码,全部自己搞定一次,而且线上收集日志的时候我们一般都用的logstash,但是业界很多人都说logstash不管是性能上还有稳定性上都不是很好,logstash的优点..
分类:
其他好文 时间:
2016-04-14 18:11:11
阅读次数:
1629