需求背景： 在利用flume进行日志收集的时候，错误信息会将堆栈多行打印，需要将多行信息合并成一行，包装成一个event进行传输。 解决思路： 解决上述需求可以通过自定义拦截器和自定义反序列化器来实现。网上关于自定义拦截器的资料比较多，但考虑到拦截器的定位和使用场景，拦截器不应用于多个event拆分 ...
分类：
Web程序 时间：
2018-07-25 18:59:33
阅读次数：
407
一、前置准备： Linux命令基础 Scala、Python其中一门 Hadoop、Spark、Flume、Kafka、Hbase基础知识 二、分布式日志收集框架Flume 业务现状分析：服务器、web服务产生的大量日志，怎么使用，怎么将大量日志导入到集群 1、shell脚本批量，再传到Hdfs：实 ...
分类：
Web程序 时间：
2018-07-25 18:59:14
阅读次数：
367
一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核 ...
分类：
Web程序 时间：
2018-07-19 23:25:38
阅读次数：
297
安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解决这个问题的话，我觉得不是一个合格的大数据底层开发机构。不过比较幸运的是，三月的时候申请拿到了一个DKHadoop的三节点发行版，大快开源的发行版hadoop。这个国产发行版就把各种常用的组建比如：HDFS，Hbase,Storm,Flume,Kafka，Mahout，Es等集成到了一起，终于不需要绞尽脑汁去折腾底层平台的搭建与配置了，简单的完成安装即可。这对于hadoop初学者来说，可谓是福音了。
分类：
数据库 时间：
2018-07-14 16:39:45
阅读次数：
208
一.Flume的安装部署: Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境 安装包的下载地址为：http://www-us.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 1. 上传安装包到数据源所在节点 ...
分类：
Web程序 时间：
2018-07-13 16:16:37
阅读次数：
204
配置flume集群参考https://www.cnblogs.com/jifengblog/p/9277793.html load-balance负载均衡 介绍 负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。 Load balancing Sink Processor 能够 ...
分类：
Web程序 时间：
2018-07-07 20:52:50
阅读次数：
237
采集目录到HDFS 使用flume采集目录需要启动hdfs集群 spooldir source 监控指定目录 如果目录下有新文件产生 就采集走 注意！！！ 此组件监控的目录不能有同名的文件产生 一旦有重名文件：报错 罢工 注意！！！ 此组件监控的目录不能有同名的文件产生 一旦有重名文件：报错 罢工 ...
分类：
Web程序 时间：
2018-07-07 20:42:41
阅读次数：
171
概述 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(chann ...
分类：
Web程序 时间：
2018-07-07 20:12:05
阅读次数：
181
第一题作答：1. 数据结构如下1）用一个循环链表来存贮终端（Agents）向服务提交的发送通知请求，其数据结构如下public class RoundLinkedListNode { private string id; private int notificationTotal; private ... ...
分类：
其他好文 时间：
2018-07-06 01:34:45
阅读次数：
176
基础概念 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, joi ...
分类：
其他好文 时间：
2018-06-30 14:50:42
阅读次数：
206
