一．Flume使用的前提：
Flume
使用 java
编写，其需要运行在 Java1.6
或更高版本之上。
二．Flume的定义：
Flume是一个分布式、可靠、高效可用的海量日志采集、聚合和传输系统，支持在系统中定制各类数据发送方，用于搜集数据；同时，flume提供对数据进行加单处理，并写到各种数据接受方（可定制）的能力。
核心一句话：将数据从数据源收集过来，再送到目的地。为...
分类：
Web程序 时间：
2016-05-30 13:02:00
阅读次数：
396
前言：Elk主要就是3个软件的组合，主要是elasticsearch搜索引擎，Logstash是一个日志收集日志，kibana实时分析进行展示。[关于日志搜集的软件，如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslogrsyslog-ng都可以搜集。关于日志手机后存储软件，如:HDFS,Cassandramong..
分类：
系统相关 时间：
2016-05-27 14:58:51
阅读次数：
856
首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。...
分类：
其他好文 时间：
2016-05-27 12:20:23
阅读次数：
157
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-26 00:00:37
阅读次数：
543
今天老大让我去调研flume+kafka+hdfs日志收集系统，下午就开始搭建相关的环境了。这里只是简单地介绍flume配置文件相关的，其他关于flume的基础知识请查看其他人的博客（有空我会补上） 首先是安装flume，安装方法可以根据官网上的方法来，官网地址为：https://cwiki.apa ...
分类：
Web程序 时间：
2016-05-25 23:55:04
阅读次数：
193
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-19 15:17:51
阅读次数：
416
来自：美团技术博客
http://tech.meituan.com/mt-log-system-arch.html
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。...
分类：
Web程序 时间：
2016-05-18 19:40:29
阅读次数：
266
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-05-18 18:34:59
阅读次数：
259
一、初学者问题： 请教个问题在实际的生成环境里面，数据源产生的地方部署Hadoop,还是需要程序把数据给迁移到Hadoop云上面去啊 回答： (1)hadoop不是云，hadoop是处理大数据的 (2)如果产生数据的话，你可以使用sqoop导入数据，也可以使用手机日志工具，比如flume 更多资料： ...
分类：
其他好文 时间：
2016-05-17 11:09:43
阅读次数：
147
flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事 ...
分类：
Web程序 时间：
2016-05-15 15:24:24
阅读次数：
365
