一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三...
分类：
Web程序 时间：
2015-05-11 17:46:59
阅读次数：
213
在上家公司工作时，设计的日志收集与实时分析架构，还是比较简单的:flume-ng+rocketmq+storm+redis+前端展示消息队列部分，我们刚开始采用的是kafka，但kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。考虑到我们的数..
分类：
其他好文 时间：
2015-05-09 20:31:03
阅读次数：
1639
对于可视化格式模型这个概念，官方的原话是这样的：How use agents process the document tree for visual media。翻译过来就是用户端在媒介中如何处理文档树。用户端这个对于我们来说通常指的就是浏览器。媒介呢，就是展示页面的介质，比如显示器。文档树呢.....
分类：
其他好文 时间：
2015-05-08 00:00:06
阅读次数：
321
# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure t...
分类：
Web程序 时间：
2015-05-07 21:55:30
阅读次数：
140
常用的分布式日志收集系统：Apache Flume、Facebook Scribe、Apache Chukwa1、Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation）...
分类：
Web程序 时间：
2015-05-07 16:30:07
阅读次数：
248
org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source，这个源支持从磁盘中某目录获取文件数据。不同于其它异步源，这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录，当出现新文件时会读取该文件并获取数据...
分类：
编程语言 时间：
2015-05-05 12:21:04
阅读次数：
468
Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html官方的英文文档 介绍的比较全面。 不过这里写写自己的见解这个是flume的架构图从上图可以看到几个名词...
分类：
Web程序 时间：
2015-05-02 01:01:18
阅读次数：
348
1.概述 今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容：Flume NG简述单点Flume NG搭建、运行高可用Flume NG搭建Failover测试截图预览 下面开始今天的博客介绍。2.Flume NG简述 Flume N...
分类：
Web程序 时间：
2015-04-30 15:35:03
阅读次数：
230
用户行为数据的收集无疑是构建推荐系统的先决条件，而Apache基金会下的Flume项目正是为分布式的日志收集量身打造的，本文是flume基本用法的调研笔记。
本文所用的Flume版本为目前最新版的ver1.5.2，它属于Flume-NG，在系统架构上与Flume-OG有所区别，二者的不同可以参考FlumeWiki文档的说明。
1. Flume是什么
Flume是Apache基金会下的一个开源...
分类：
Web程序 时间：
2015-04-29 19:50:05
阅读次数：
356
上篇笔记对Flume的使用场景和系统架构做了介绍，本篇笔记以实例说明Flume的配置方法。下面开始正文。
1. Flume使用实例
1.1 配置
Flume agent的3个组件及其拓扑关系是在配置文件中指定的，总的原则是必须列出source/channel/sink的name/type等重要的配置项，并通过channel将source(s)和sink(s)连接起来，此外，1个source可...
分类：
Web程序 时间：
2015-04-29 19:49:33
阅读次数：
223
