apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。 大伙知道，常用的channel主要有三个： 1、memory channel：用内存做channel，优点是速度最快，...
分类：
Web程序 时间：
2015-03-01 19:38:20
阅读次数：
238
今天继续讨论几个agent的配置。 第一个agent是从终端捕获特定命令执行的输出结果，并将文件输出到特定目录。先看一下配置的代码： agent2.sources = execsource //指定为从命令获取输出的sourceagent2.sinks = filesink ...
分类：
Web程序 时间：
2015-03-01 13:07:42
阅读次数：
148
首先介绍一下Flume是个神马东东。Flume可以实现从多种数据源获取数据，然后传递到不同的目标路径。通常是利用Flume传送logs到不同的地方，例如从web server收集logs文件然后传送到hadoop cluster进行分析之类的。Flume配置灵活简单，可以实现不同情况的日志传送...
分类：
Web程序 时间：
2015-02-28 13:01:20
阅读次数：
165
flume-ng 1.5 新增一个Spillable memory channel ：http://www.tuicool.com/articles/i2mUfqb虽然可以在sink阻塞时候，把event存入file channel，且file channel在flume崩溃再启动时能恢复数据，但是...
分类：
Web程序 时间：
2015-02-26 14:37:25
阅读次数：
261
一、FlumeNG核心概念二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Eve..
分类：
Web程序 时间：
2015-02-26 00:09:32
阅读次数：
1266
https://github.com/flsusp/http-queuehttps://github.com/sfr-network-service-platforms/hq-consolehttps://github.com/btoddb/flume-ng-hornetq-channelhttps...
分类：
Web程序 时间：
2015-02-24 18:36:28
阅读次数：
164
prerequisite: JMX http://www.cnblogs.com/itech/archive/2010/09/16/1827999.html http://download.oracle.com/technetwork/java/javase/6/docs/zh/api/java/l...
分类：
Web程序 时间：
2015-02-16 18:07:02
阅读次数：
331
Flume架构主要由3个组件，分别是Source，Channel和Sink，3个组件组成Event在Flume中得数据流向或者说流水线，功能可以由Flume的介绍看出：When a Flume source receives an event, it stores it into one or mo...
分类：
Web程序 时间：
2015-02-15 19:21:33
阅读次数：
320
主要涉及到的类：SpoolDirectorySource 读取用户配置，并按照batchSize去读取这么多量的Event从用户指定的Spooling Dir中。SpoolDirectorySource 不会去读取某一个具体的文件，而是通过内部的reader去读取。文件切换等操作，都是reader去...
分类：
Web程序 时间：
2015-02-12 17:49:29
阅读次数：
284
