一、简介1.ELK介绍ELKStack是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于Elastic.co公司名下，故有此简称。ELKStack在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选..
分类：
其他好文 时间：
2016-09-21 23:45:29
阅读次数：
549
其实这边文章说是“分布式日志框架”有标题党的嫌疑。把大家骗过来其实是想让大家指导一些意见,交流一下经验。 最近看了一本关于架构方面的书,其中书里面有一句话让我影响很深刻：在没有弄清楚需求前就去做架构的人失败永远多于成功。 仔细想了想,其实蛮有道理的。 就我个人而言,当我决定做一个框架的时候,我会认为 ...
分类：
其他好文 时间：
2016-09-13 01:30:24
阅读次数：
119
1. 加入log4j和slf4j的jar包 2. web.xml： 3. src/log4j.properties： 配置info级输出到控制台，debug和error 都输出到对应文件中。 4. 使用log对象 ...
分类：
编程语言 时间：
2016-09-06 19:56:58
阅读次数：
172
今天开会讨论日志处理为什么要同时使用Flume和Kafka，是否可以只用Kafka 不使用Flume？当时想到的就只用Flume的接口多，不管是输入接口(socket 和 文件)以及输出接口(Kafka/HDFS/HBase等)。 考虑单一应用场景，从简化系统的角度考虑，在满足应用需求的情况下可能只 ...
分类：
Web程序 时间：
2016-09-01 21:18:04
阅读次数：
971
#!/bin/bash
#bylcat20160428forhadoop(grep_recharge)
DATE=`date+%F_%H\:%M\:%S`
YTDATE=`date-d"-1day"+%Y%m%d`
RESTDIR=/home/hadoop/prodata/rest
DATEDIR=/home/hadoop/prodata/rest/$YTDATE
RESTFILE=${DATEDIR}/recharge-$YTDATE.log
#RESTFILE=recharge-20160427.log
..
分类：
系统相关 时间：
2016-08-10 23:03:17
阅读次数：
320
LogBack 日志 文件分开纪录 在处理Log中，我们一般讲Log分为一下几类，Debug类型，Error类型，Info类型 等等。。 那么使用LogBack如何分开日志处理 代码如下： 当然也可以作为一个标准xml来使用。 ...
分类：
其他好文 时间：
2016-07-12 23:06:36
阅读次数：
207
参考：日志处理 三：Filter+自定义注解实现 系统日志跟踪功能 1、项目结构 2、pom.xml，添加需要依赖 3、dispartch-servlet.xml 3、web.xml 4、Log.java，定义自定义注解 5、SystemLogAspect.java，自定义注解拦截器，实现对自定义注 ...
分类：
编程语言 时间：
2016-06-26 22:38:34
阅读次数：
759
time.struct_time(tm_year=2016, tm_mon=1, tm_mday=28, tm_hour=23, tm_min=36, tm_sec=0, tm_wday=3, tm_yday=28, tm_isdst=-1) · 1465228080.0 日志处理： WARNING ...
分类：
编程语言 时间：
2016-06-17 21:03:15
阅读次数：
277
前言ELKstack抓取分析应用日志的前提是开发要将日志的输出格式改成json格式，否则产出的日志很难进行分析。主要流程：tomcat通过log4j输出日志-->logstash接收数据并发送到redis-->logstash从redis获取数据并写入estomcat怎样输出应用日志？tomcat7.0配置log4j日志详细文..
分类：
编程语言 时间：
2016-06-08 17:18:26
阅读次数：
198
logstash如何从redis拉出日志并写入es？
input{
redis{
batch_count=>1
host=>"sz-a-xxxxxredis01-redis-xen.xxxxx.com"
type=>"syslog"
data_type=>"list"
key=>"logstash:syslog-log"
}
redis{
batch_count=>1
host=>"sz-a-xxxxxredis01-redis-xen.xxxx..
分类：
编程语言 时间：
2016-06-08 17:16:53
阅读次数：
284
