码迷,mamicode.com
首页 >  
搜索关键字:logstash clientip apachelog grok    ( 1293个结果
logstash grok pattern
logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+ USER%{USERNAME} INT(?:[+-]?(?:[0-9]+)) BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+))) NUMBER(?:%{BASE10NUM}) BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+)) BASE16FLOAT\b(..
分类:其他好文   时间:2016-05-06 19:54:54    阅读次数:265
Flume-Kafka-Logstash-ElasticSearch-Kibana流程说明
首先说明,各工具的安装就不在这说明了,网上很多,可自行查看。 我们在这里用实例说明各个工具的配置以及最后展示的效果。 假如我们有一批tracklog日志需要用ELK实时展示出来: 一、收集日志,我们使用flume工具 在日志服务器端布置agent发往收集collect,配置如下: agent(可多个) agent.sources = s1 agent.channels...
分类:Web程序   时间:2016-05-06 16:24:34    阅读次数:1001
logstash 从数据库同步数据
背景:目前业务中有个数据库数据大道3亿左右。如果直接从数据库进行查询,等待时间超过15分钟,用户很多时候想查看数据,只能写SQL在数据库中直接查询喝几杯茶后,结果还没出来。用户看到我们项目中使用到ES集群,于是希望将数据库中的数据同步到ES集群中。 软件版本:logstash-2.2.2 ,Elas ...
分类:数据库   时间:2016-05-03 17:51:33    阅读次数:4121
ELK---日志分析系统
ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用:用于处理传入的日志,负责收集、过滤和写出日志 Logstash分为三个组件input, ...
分类:其他好文   时间:2016-04-29 21:57:50    阅读次数:215
开源实时日志分析ELK平台部署
http://www.tuicool.com/articles/QFvARfr 开源实时日志分析ELK平台部署 版本:elasticsearch-2.3.2             logstash-2.3.2             kibana-4.5.0 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类:其他好文   时间:2016-04-29 15:04:07    阅读次数:176
json型数据,logstash邮件报警配置案例
[root@mysql~]#cat/usr/local/logstash-2.2.0/etc/test1.conf input{ #stdin{ #type=>"yeshuai" #codec=>"json" #} file{ type=>"yeshuai" path=>["/opt/log/test.log"] start_position=>"beginning" codec=>"json" } } filter{ if[type]=="yeshuai"{ thro..
分类:Web程序   时间:2016-04-25 19:51:03    阅读次数:468
ELK--报错到一定频率 报警发邮件
input{ file{ type=>"java-err" path=>"/fsmeeting/tomcat-service/logs/catalina.out" tags=>"java-err" codec=>multiline{ pattern=>"^%{TIMESTAMP_ISO8601}" negate=>true what=>"previous" } } } filter{ if[type]=="java-err"{ grok{ match=>{"m..
分类:其他好文   时间:2016-04-19 20:27:01    阅读次数:2759
【centos】安装ELK之插件topbeat
部署环境: centos 6.X jdk 1.7 elasticsearch 2.3.1 https://www.elastic.co/downloads/elasticsearch logstash 2.3.1 https://www.elastic.co/downloads/logstash K ...
分类:其他好文   时间:2016-04-15 13:42:24    阅读次数:688
logstash问题:Could not find any executable java binary.
exportJAVACMD=`whichjava`
分类:编程语言   时间:2016-04-14 19:34:59    阅读次数:857
在团800运维工作总结之haproxy---rsyslog----kafka---collector--es--kibana
一下是我在单位对haproxy进行日志分析的一整套流程我们一直都是处在维护es集群的配置,并没有把一整套流程包括收集端的代码,全部自己搞定一次,而且线上收集日志的时候我们一般都用的logstash,但是业界很多人都说logstash不管是性能上还有稳定性上都不是很好,logstash的优点..
分类:其他好文   时间:2016-04-14 18:11:11    阅读次数:1629
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!