redis作为logstash中的官方broker，既有input插件，还有output插件。 redis input插件 data_type属性： 有三种类型， list －》 BLPOP －－阻塞式列表弹出 channel －》 SUBSCRIBE －－ 指定订阅者 pattern_channe ...
分类：
其他好文 时间：
2016-11-26 20:55:03
阅读次数：
206
input{file{type=>"erp_log"path=>"/var/log/nginx/catalina.out"start_position=>"beginning"codec=>multiline{pattern=>"^%{YEAR}-%{MONTHNUM}-%{MONTHDAY}%{HOUR}:?%{MINUTE}(?::?%{SECOND})"negate=>truewhat=>"previous"}}}output{redis{port=>63..
分类：
其他好文 时间：
2016-11-26 00:27:02
阅读次数：
521
ELK其实并不是一款软件，而是一整套解决方案，是三个开源软件Elasticsearch,Logstash和Kibana。 Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎，便用java语言编写。 ...
分类：
其他好文 时间：
2016-11-24 06:51:05
阅读次数：
295
选择需求分类废话少说直接上图 第一张图： 2.此图搭配的日志格式是： log_format main '$remote_addr - $remote_user [$time_local] $http_host $request_method "$uri" "$query_string" ' '$st ...
分类：
其他好文 时间：
2016-11-20 23:08:04
阅读次数：
488
由于直接复制粘贴有问题，所以给出链接： http://note.youdao.com/share/?id=6dfb1f03240e156c1db4a56c85e3b6db&type=note#/ 参考URL：http://www.cnblogs.com/xing901022/p/5259750.ht ...
分类：
其他好文 时间：
2016-11-18 11:56:50
阅读次数：
147
待处理日志格式如下：[totalCount: 298006556, count: 287347623, queryCount: 259027994, exeCount: 28319629, total...
分类：
其他好文 时间：
2016-11-18 00:25:12
阅读次数：
160
初探ELK-使用geoip插件来制作可视化的地图2016/11/17一、前提
1、本次操作是在前述文章的基础上添砖加瓦。
2、思路
1）通过logstash将clientip识别成geoip.location等数据
2）然后更新ES的模版，标记geoip.location这个properties的type为geo_point
3）最后在kibana上选择"Visu..
分类：
其他好文 时间：
2016-11-17 21:19:50
阅读次数：
1208
在实际的项目中需要对线上日志做实时分析跟统计，这一套方案可以用现有的ELK(ElasticSearch, Logstash, Kibana)方案既可以满足，关于这个方案的具体的步骤可以参考网上的解决方案。但如果只想统计某个错误码(http状态码，业务错误码)在指定时间内出现多少次然后就触发一个告警或 ...
分类：
其他好文 时间：
2016-11-17 07:46:34
阅读次数：
432
排查logstash2.4升级到5.0版本后kafka不兼容问题参考文档：/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/CHANGELOG.md
/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/DEVELOPER.md
/usr/share/logstash/vend..
分类：
其他好文 时间：
2016-11-17 02:23:18
阅读次数：
384
设置定义慢日志（小于n微秒的定义为慢日志）：CONFIG SET slowlog-log-slower-than n 注：1秒 = 1,000,000微秒设置服务器保存的慢日志最多条数：config set slowlog-max-len n 超过n，会把之前的记录冲掉查看慢日志：slowlog g ...
分类：
其他好文 时间：
2016-11-16 14:10:37
阅读次数：
165
