主要涉及到的类：SpoolDirectorySource 读取用户配置，并按照batchSize去读取这么多量的Event从用户指定的Spooling Dir中。SpoolDirectorySource 不会去读取某一个具体的文件，而是通过内部的reader去读取。文件切换等操作，都是reader去...
分类：
Web程序 时间：
2015-02-12 17:49:29
阅读次数：
284
前言
首先来看一下flume官网中对Event的定义
一行文本内容会被反序列化成一个event【序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化，它将流转换为对象。这两个过程结合起来，可以轻松地存储和传输数据】，event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8，这都是统一的。
但是这个解释是针对Avr...
分类：
Web程序 时间：
2015-02-12 14:05:20
阅读次数：
196
图示
如上图所示红框部分，本人在做稳定性测试的时候，当flume运行几天后，我发现这个counter值逐渐变大，到一定值后，又变小了，有一个循环的过程，故而对此产生研究的欲望，下面来看看：
if (txnEventCount == 0) {
sinkCounter.incrementBatchEmptyCount();
} else if (txnEvent...
分类：
编程语言 时间：
2015-02-12 10:52:27
阅读次数：
1233
大话日志分析与管理，有奖赠书活动，欢迎大家参与~随着IT运维管理工作的复杂程度不断增加，仅靠几个“技术大拿”来包打天下的已不能满足要求，每当系统或网络故障来临时再去被动的查找原因，已不适应现在的企业发展，企业需要一种安全的运维平台，满足专业化、标准化和流程化的..
分类：
其他好文 时间：
2015-02-11 19:10:39
阅读次数：
272
这里就简单贴个配置吧，有问题欢迎留言探讨
sink的配置
##############################define [sink] begin##############################
#define the sink k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLoca...
分类：
Web程序 时间：
2015-02-11 10:58:51
阅读次数：
212
一个软件在投入运行时不可能没有任何异常，在软件发生异常时及时的记录下来，也好我们及时对异常进行跟踪，以解决发生的异常，避免异常的再次发生。异常分为两种情况，一种为客户端发生的异常，另一种为服务端发生的异常。对于客户端发生的异常，通常都会及时的弹出，用户看到后可以反馈给我们。服务器端产生的异常会自动记录到数据库中，管理员可以通过框架异常管理进行查看操作。
框架日志管理对于框架的安全审查有着重要的地位，用户的登入登出情况，模块的访问情况，服务调用情况，功能操作情况等都应该记录下来，也方便管理人员查看了解整个系统...
分类：
Web程序 时间：
2015-02-11 09:20:43
阅读次数：
226
框架包括用户管理、菜单管理、角色管理、权限管理、日志管理等功能。内容包括源代码+发布程序+数据库文件+数据库设计文件+文档说明，是一套非常成熟的框架程序，可直接用于大型系统、基础框架快速开发，及程序员学习。推荐给大家，大家一起交流、进步。...
分类：
编程语言 时间：
2015-02-10 00:44:44
阅读次数：
2523
最近学习了下flume的使用，以配合公司将日志系统独立出来的开发，官网用户手册：http://flume.apache.org/FlumeUserGuide.html#log4j-appender
1. flume架构
a. 组件
先搬上官网上的架构图
从图上可以看到flume的事件定义成了一个数据流，一个数据流组成了Agent，其实就是JVM实例，每个Agent包...
分类：
Web程序 时间：
2015-02-09 10:57:53
阅读次数：
312
Splunk vs. Sumo Logic vs. LogStash vs. GrayLog vs. Loggly vs. PaperTrails vs. Splunk>Storm英文原文：The 7 Log Management Tools You Need To Know日志管理工具有 Splu...
分类：
编程语言 时间：
2015-02-08 23:02:37
阅读次数：
386
