Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.4。 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。
分类：
Web程序 时间：
2018-11-11 17:58:27
阅读次数：
283
官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources。Flume Sources 描述。
分类：
Web程序 时间：
2018-11-11 17:58:18
阅读次数：
181
单一代理流配置。通过一个通道将来源和接收器链接。需要列出源，接收器和通道，为给定的代理，然后指向源和接收器及通道。一个源的实例可以指定多个通道，但只能指定一个接收器实例。格式如下：
分类：
Web程序 时间：
2018-11-11 17:53:51
阅读次数：
166
需求：从指定网络端口采集数据输出到控制台 使用flume的关键就是写配置文件 a）配置source b）配置channel c）配置sink d）把以上三个组件串起来 我们看一下官网给的配置文件 ...
分类：
Web程序 时间：
2018-11-08 18:19:03
阅读次数：
194
1.安装jdk 我这里已经安装过了，这里就不演示了 2.安装flume 安装cdh版本的，http://archive.cloudera.com/cdh5/cdh/5/ 安装完毕之后，配置环境变量。 我们看看文件的结构 bin目录是一些启动文件，conf是配置文件，其他的不用关注，我们进入conf目 ...
分类：
Web程序 时间：
2018-11-08 01:09:47
阅读次数：
239
1 框架一览 事件处理的架构图如下所示。 2 优化总结 当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大 ...
分类：
其他好文 时间：
2018-11-02 23:29:29
阅读次数：
241
前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. Flume日志采集框架 1.1 Flume介绍 1.1.1 ...
分类：
Web程序 时间：
2018-11-02 16:35:12
阅读次数：
269
目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试，供大家参考。 ...
分类：
Web程序 时间：
2018-11-01 15:09:25
阅读次数：
194
Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据的 ...
分类：
Web程序 时间：
2018-10-31 15:49:53
阅读次数：
526
有很多应用场景，用到了接口动态实现，下面举几个典型的应用： 1、mybatis / jpa 等orm框架，可以在接口上加注解进行开发，不需要编写实现类，运行时动态产生实现。 2、dubbo等分布式服务框架，消费者只需要引入接口就可以调用远程的实现，分析源代码，其实在消费端产生了接口的代理实现，再由代 ...
分类：
编程语言 时间：
2018-10-31 10:34:53
阅读次数：
215
