前言ELKstack抓取分析应用日志的前提是开发要将日志的输出格式改成json格式，否则产出的日志很难进行分析。主要流程：tomcat通过log4j输出日志-->logstash接收数据并发送到redis-->logstash从redis获取数据并写入estomcat怎样输出应用日志？tomcat7.0配置log4j日志详细文..
分类：
编程语言 时间：
2016-06-08 17:18:26
阅读次数：
198
logstash如何从redis拉出日志并写入es？
input{
redis{
batch_count=>1
host=>"sz-a-xxxxxredis01-redis-xen.xxxxx.com"
type=>"syslog"
data_type=>"list"
key=>"logstash:syslog-log"
}
redis{
batch_count=>1
host=>"sz-a-xxxxxredis01-redis-xen.xxxx..
分类：
编程语言 时间：
2016-06-08 17:16:53
阅读次数：
284
前言
logstash使用的是最新的2.3版本，此模板仅为参考，一切以官方文档为准
https://www.elastic.co/guide/en/logstash
input模块
接收log4j类型日志
input{
log4j{
type=>"log4j-json"
port=>12201
}
}
filter模块
深入json化message内容
filter{
json{
source=>"mes..
分类：
其他好文 时间：
2016-06-01 21:32:50
阅读次数：
216
logstash报错现象Troubleparsingjson{:source=>"message",:raw=>"{\"@timestamp\":\"2016-05-30T14:51:27+08:00\",\"host\":\"10.139.48.166\",\"clientip\":\"180.109.110.203\",\"request_method\":\"GET\",\"size\":4286,\"responsetime\":0.000,\"upstreamtime\":\"-..
分类：
Web程序 时间：
2016-05-30 20:05:07
阅读次数：
6714
在运维系统中，经常遇到如下情况:①开发人员不能登录线上服务器查看详细日志②各个系统都有日志，日志数据分散难以查找③日志数据量大，查询速度慢，或者数据不够实时④一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据我们可以采用目前比较流行的ELKStack来满足以..
分类：
其他好文 时间：
2016-05-19 21:34:01
阅读次数：
1066
一、ELK说明二、架构图三、规划说明四、安装部署nginx+logstash五、安装部署redis六、安装部署logstashserver七、安装部署elasticsearch集群八、安装kibana一、ELK说明ELKStack是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合..
分类：
其他好文 时间：
2016-05-11 20:03:24
阅读次数：
358
问题：#serviceelasticsearchstartStartingelasticsearch:log4j:ERRORsetFile(null,true)callfailed.java.io.FileNotFoundException:/path/to/logs/my-application.log(Permissiondenied) atjava.io.FileOutputStream.open0(NativeMethod) atjava.io.FileOutputStream.open(Fil..
分类：
移动开发 时间：
2016-04-28 15:33:07
阅读次数：
1537
话说互联网的江湖一点都不风平浪静，这不刚处理完http://fengwan.blog.51cto.com/508652/1757465短信攻击，敌人又卷土重来，而且方法更先进。从上面可以看到敌人通过模拟Referer对我方阵地实施打击，不断耗费我方短信资源。通过对敌人进行画像:分析IP分析X-FORWARD-IP分析设备..
分类：
其他好文 时间：
2016-04-19 20:20:17
阅读次数：
211
最近在使用ELKStack对系统日志进行分析，在网上也有看到有使用logstash的案例，但是发现不能正常解析出来，于是重新花时间去进行正则计算，主要代码如下:input{
file{
type=>"mysql-slow"
path=>"/var/lib/mysql/slow.log"
start_position=>beginning
sincedb_write_i..
分类：
数据库 时间：
2016-03-31 18:58:35
阅读次数：
248
1.Haproxy配置日志规则在/etc/haproxy/haproxy.conf的frontend下增加optionhttplog
optionlogasap
logLogServerIPlocal5
capturerequestheaderHostlen40
capturerequestheaderX-Forwarded-Forlen50
#capturerequestheaderAccept-Languagelen50
capturerequestheaderRefererlen..
分类：
其他好文 时间：
2016-03-26 20:32:39
阅读次数：
234
