我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-19 15:17:51
阅读次数：
416
来自：美团技术博客
http://tech.meituan.com/mt-log-system-arch.html
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。...
分类：
Web程序 时间：
2016-05-18 19:40:29
阅读次数：
266
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-05-18 18:34:59
阅读次数：
259
一、初学者问题： 请教个问题在实际的生成环境里面，数据源产生的地方部署Hadoop,还是需要程序把数据给迁移到Hadoop云上面去啊 回答： (1)hadoop不是云，hadoop是处理大数据的 (2)如果产生数据的话，你可以使用sqoop导入数据，也可以使用手机日志工具，比如flume 更多资料： ...
分类：
其他好文 时间：
2016-05-17 11:09:43
阅读次数：
147
flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事 ...
分类：
Web程序 时间：
2016-05-15 15:24:24
阅读次数：
365
本节课分成二部分讲解：一、SparkStreamingonPullingfromFlume实战二、SparkStreamingonPullingfromFlume源码解析先简单介绍下Flume的两种模式：推模式（FlumepushtoSparkStreaming）和拉模式（SparkStreamingpullfromFlume）采用推模式：推模式的理解就是Flume作为缓存，存有..
分类：
Web程序 时间：
2016-05-14 01:25:26
阅读次数：
374
最近在搭建日志收集平台，将linux的部分日志收集到elasticsearch上通过kibana进行搜索展现，基本上是标准的ELK架构，但是agent端复用了已有的flume。在功能测试的时候，是将本地messages日志备份出来对备份的日志进行了切割测试。经过一周测试终于完成了，当时的内心是： 日 ...
分类：
其他好文 时间：
2016-05-13 21:54:37
阅读次数：
229
一、架构方案如下图： 二、各个组件的安装方案如下： 1）、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2）hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)f ...
分类：
Web程序 时间：
2016-05-13 11:35:01
阅读次数：
1127
本文首先介绍了 Apache Kafka 的基本原理及专业术语，然后通过一个在线网络游戏的例子进一步解释 Kafka 的功能，最后通过具体案例介绍 Kafka 与 Flume 的差异。...
分类：
Web程序 时间：
2016-05-12 22:46:19
阅读次数：
358
1、flume创建配置文件flume-spark-tail-conf.properties```
# The configuration file needs to define the sources,
# the channels and the sinks.
# Sources, channels and sinks are defined per agent,
# in this cas...
分类：
Web程序 时间：
2016-05-12 18:42:16
阅读次数：
192
