前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. Flume日志采集框架 1.1 Flume介绍 1.1.1 ...
分类：
Web程序 时间：
2018-11-02 16:35:12
阅读次数：
269
目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试，供大家参考。 ...
分类：
Web程序 时间：
2018-11-01 15:09:25
阅读次数：
194
Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据的 ...
分类：
Web程序 时间：
2018-10-31 15:49:53
阅读次数：
526
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestam ...
分类：
Web程序 时间：
2018-10-29 21:30:13
阅读次数：
146
分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived+Nginx+Proxy(三重负载)JEESZUI基于Bootstrap4简洁、直观、强悍最受欢迎的HTML、CSS和JS框架，用于开发响应式布局、移动设备优先的WEB项目。为所有开发者
分类：
其他好文 时间：
2018-10-29 14:11:43
阅读次数：
124
分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived+Nginx+Proxy(三重负载)JEESZUI基于Bootstrap4简洁、直观、强悍最受欢迎的HTML、CSS和JS框架，用于开发响应式布局、移动设备优先的WEB项目。为所有开发者
分类：
其他好文 时间：
2018-10-29 14:10:17
阅读次数：
175
1、概述 Flume：收集、聚集，移动大量日志数据到指定位置 2、核心组件 基本单位：agent source：收集 channel：聚集 sink：发送 3、一般写Flume配置文件能解决大部分问题 ...
分类：
Web程序 时间：
2018-10-27 18:43:14
阅读次数：
182
名词解释： 1、netcat：通过网络端口获取数据，source的实现类 2、logger：将数据显示到控制台，sink的实现类 3、memory： ，channel的实现类 4、capacity：是指channel的最大容量 5、spooldir：本地文件目录（文件夹）用来读取数据（文件） 6、f ...
分类：
Web程序 时间：
2018-10-27 00:20:10
阅读次数：
209
Flume 1. 前言 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2018-10-26 11:25:46
阅读次数：
330
模拟编写了一个Flume1.7中TAILDIR的功能实现，通过手动控制文件的读取位置来达到对文件的读写，防止flume挂了之后重复消费的情况。以下是代码实现，仅做参考，生产上直接用TAILDIR读取文件内容即可，若要读取一个目录下的子目录，可使用github上以实现的这个项目包：https://github.com/qwurey/flume-source-taildir-recursivepack
分类：
Web程序 时间：
2018-10-23 16:22:47
阅读次数：
139
