本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source ...
分类：
Web程序 时间：
2016-05-08 22:22:06
阅读次数：
394
flume 1.6安装1.解压 2.复制 cp conf/flume-conf.properties.template conf/flume.conf cp conf/flume-env.sh.template conf/flume-env.sh 3. 修改 JAVA_HOME flume-env. ...
分类：
Web程序 时间：
2016-05-07 16:18:08
阅读次数：
229
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
tar -zxvf apache-flume-1.5.0-bin.tar.gz -C 路径
bin 目录下只有flume-ng
conf 目录下有flume-conf.properties.template flume-env.sh.template log4j.properties
重命名 mv flume-env.sh.template flume-env.sh/etc/profile...
分类：
Web程序 时间：
2016-05-06 15:23:19
阅读次数：
202
# Flume test file# Listens via Avro RPC on port 41414 and dumps data received to the logagent.channels = ch-1agent.sources = src-1agent.sinks = sink-1 ...
分类：
Web程序 时间：
2016-05-05 19:24:54
阅读次数：
854
实例1 ：类型avro，在flume的conf里面创建一个avro.conf用来测试，如下：
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bi...
分类：
移动开发 时间：
2016-05-03 18:21:47
阅读次数：
287
本节课分成二部分讲解：
一、Spark Streaming on Polling from Flume实战
二、Spark Streaming on Polling from Flume源码
第一部分：
推模式(Flume push SparkStreaming) VS 拉模式（SparkStreaming poll Flume）
采用推模式：推模式的理解就是Flum...
分类：
Web程序 时间：
2016-05-03 18:15:45
阅读次数：
204
1. 在使用 Regex Filtering Interceptor的时候一个属性是excludeEvents 当它的值为true 的时候，过滤掉匹配到当前正则表达式的一行 当它的值为false的时候，就接受匹配到正则表达式的一行 2. flume interceptors的其它属性 Flume h ...
分类：
Web程序 时间：
2016-05-01 11:01:40
阅读次数：
519
本节课分成二部分讲解： 一、Spark Streaming on Polling from Flume实战 二、Spark Streaming on Polling from Flume源码 第一部分： 推模式(Flume push SparkStreaming) VS 拉模式（SparkStrea ...
分类：
Web程序 时间：
2016-04-30 14:15:58
阅读次数：
932
本期内容：
1. Flume on HDFS案例回顾
2. Flume推送数据到Spark Streaming实战
3. 原理绘图剖析
1. Flume on HDFS案例回顾
上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。
文件配置：
~/.bashrc:
export FLUME_HOME=/usr/lo...
分类：
Web程序 时间：
2016-04-29 17:54:11
阅读次数：
197
