本节课分成二部分讲解：一、SparkStreamingonPullingfromFlume实战二、SparkStreamingonPullingfromFlume源码解析先简单介绍下Flume的两种模式：推模式（FlumepushtoSparkStreaming）和拉模式（SparkStreamingpullfromFlume）采用推模式：推模式的理解就是Flume作为缓存，存有..
分类：
Web程序 时间：
2016-05-14 01:25:26
阅读次数：
374
最近在搭建日志收集平台，将linux的部分日志收集到elasticsearch上通过kibana进行搜索展现，基本上是标准的ELK架构，但是agent端复用了已有的flume。在功能测试的时候，是将本地messages日志备份出来对备份的日志进行了切割测试。经过一周测试终于完成了，当时的内心是： 日 ...
分类：
其他好文 时间：
2016-05-13 21:54:37
阅读次数：
229
一、架构方案如下图： 二、各个组件的安装方案如下： 1）、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2）hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)f ...
分类：
Web程序 时间：
2016-05-13 11:35:01
阅读次数：
1127
本文首先介绍了 Apache Kafka 的基本原理及专业术语，然后通过一个在线网络游戏的例子进一步解释 Kafka 的功能，最后通过具体案例介绍 Kafka 与 Flume 的差异。...
分类：
Web程序 时间：
2016-05-12 22:46:19
阅读次数：
358
1、flume创建配置文件flume-spark-tail-conf.properties```
# The configuration file needs to define the sources,
# the channels and the sinks.
# Sources, channels and sinks are defined per agent,
# in this cas...
分类：
Web程序 时间：
2016-05-12 18:42:16
阅读次数：
192
使用Docker容器模拟分布式flume使用Docker模拟分布式flume，agent1通过avro接口连接agent2和agent3，agent2和agent3采用负荷分担方式。使用docker-hub上的cogniteev/flume作为原始镜像...
分类：
其他好文 时间：
2016-05-12 18:15:40
阅读次数：
182
Flume Source
Source类型
说明
Avro Source
支持Avro协议（实际上是Avro RPC），内置支持
Thrift Source
支持Thrift协议，内置支持
Exec Source
基于Unix的command在标准输出上生产数据
JMS Source
从JMS系...
分类：
Web程序 时间：
2016-05-12 18:15:00
阅读次数：
174
2、Flume Collector安装（通过extends AbstractSink implements Configurable，直接写入数据库）
2.1 安装环境
系统:
CentOS release 6.6
软件:
flume-collector.tar.gz
2.2 安装步骤
2.2.1 部署Flume Collector
...
分类：
Web程序 时间：
2016-05-12 12:14:32
阅读次数：
254
1、Flume Agent安装（采用spoolDir模式以便获取系统、应用等日志信息）
注：使用jyapp用户安装
一台虚拟机部署了多个JAVA应用同时需要部署多个flume-agent进行监控时，
需要调整如下配置文件：
a flume-agent/conf/app.conf中的spool_Dir参数
b flume-agent/conf/flume-e...
分类：
Web程序 时间：
2016-05-12 12:12:18
阅读次数：
305
基于Flume+LOG4J+Kafka的日志采集架构方案 本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source ...
分类：
Web程序 时间：
2016-05-09 18:27:39
阅读次数：
215
