一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-04-29 17:51:23
阅读次数：
192
一：简述
本人之前搭建elk+redis架构收集日志，出现瓶颈，现使用新架构（els+kafka+rsyslog+hadoop-hdfs+zookeeper），解决方案。
二：搭建过程
A.rsyslogd服务
通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过 ChangeLog 也可以看出 V...
分类：
其他好文 时间：
2016-04-29 16:11:41
阅读次数：
1097
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本：elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类：
其他好文 时间：
2016-04-29 15:04:07
阅读次数：
176
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-04-26 20:08:10
阅读次数：
223
背景 之前做日志收集模块时，用到flume。另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。而在我自己提出的原始日志采集方案中不适用消息队列时，有几个基本问题：1. 日志文件上传过程，有个基本的生产者-消费者问题；2. 另外系统崩溃时，数据 ...
分类：
其他好文 时间：
2016-04-26 09:28:55
阅读次数：
154
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 ...
分类：
Web程序 时间：
2016-04-26 00:28:52
阅读次数：
307
目前java应用日志收集都是采用日志框架(slf4j、apache commons logging)+日志系统（log4j、log4j2、LogBack、JUL等）的方式。而针对在分布式环境需要实时分析统计的日志，一般采用apache flume、facebook scribe等分布式日志收集系统。...
分类：
编程语言 时间：
2016-04-22 19:49:21
阅读次数：
409
一、什么是Flume?Flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG（originalgeneration），属于cloudera。但随着FLume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤..
分类：
Web程序 时间：
2016-04-22 01:23:48
阅读次数：
320
1：AEP系统相关环境变量2：MPP日志收集相关一种方法可以通过web页面收集，通过EPM-SystemMonitor--选中某台MPP进入其web页面；另一种是通过命令收集；进入目录：cd$AVAYA_MPP_HOME/bin使用root权限执行getmpplog.sh脚本参数：--web：收集MPPweb相关运行日志，并保存在$AVAYA_MP..
分类：
其他好文 时间：
2016-04-21 18:50:46
阅读次数：
276
input{
file{
type=>"java-err"
path=>"/fsmeeting/tomcat-service/logs/catalina.out"
tags=>"java-err"
codec=>multiline{
pattern=>"^%{TIMESTAMP_ISO8601}"
negate=>true
what=>"previous"
}
}
}
filter{
if[type]=="java-err"{
grok{
match=>{"m..
分类：
其他好文 时间：
2016-04-19 20:27:01
阅读次数：
2759
