翻译自官网flume1.8用户指南，原文地址：Flume 1.8.0 User Guide 一、 介绍 1. 概述 Apache Flume 是收集、汇总和移动大数据量的不同数据源到集中的数据仓库的分布式的、可靠的、可用的系统。 使用flume 不仅仅可以做日志收集。自从数据源可自定义，flume可 ...
分类：
Web程序 时间：
2019-01-28 17:41:31
阅读次数：
262
前言：最近有些浮躁，大环境变化无常，这种情况下唯有学习才是王道，好吧，开始学习flume！ 一、Flume简介 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。 Flume 初始的发行版本目前被统称为 Flume OG（original generation） ...
分类：
Web程序 时间：
2019-01-28 00:46:44
阅读次数：
187
需求：做一个windows服务，实现从ftp服务器实时下载或者更新文件到本地磁盘。 功能挺简单的。直接写个ftp工具类用定时器跑就能搞定，那我为什么不用呢？ 别问，问就是我无聊啊，然后研究一下Flume打发时间。哈哈~ 一、Flume部分 Source组件和Sink组件用的都是第三方。 source ...
agent选择 agent1 exec source + memory channel + avro sink agent2 avro source + memory channel 模拟实际工作中的场景，agent1 为A机器，agent2 为B机器。 avro source: 监听avro端口， ...
分类：
Web程序 时间：
2019-01-27 14:37:21
阅读次数：
239
1.问题场景 Centos7 做flume案例时，telnet hadoop-senior03.itguigu.com 44444 总是Connection redused， Trying 192.168.10.22...telnet: connect to address 192.168.10.2 ...
分类：
其他好文 时间：
2019-01-25 16:03:20
阅读次数：
287
在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示： （1）节点分配 Flume的Agent和Collector分布如下表所示： 名称 Ip地址 Host 角色 Agent1 192.168.200.101 Itcast01 WebServer Coll ...
分类：
其他好文 时间：
2019-01-23 00:25:43
阅读次数：
234
需求：AB两台日志服务器实时生产日志主要类型为access.log、nginx.log、web.log，现在要求：把A、B机器中的access.log、nginx.log、web.log采集汇总到C机器上然后统一收集到hdfs中，但是在hdfs中要求的目录为： /source/logs/access/日期/** /source/logs/nginx/日期
分类：
Web程序 时间：
2019-01-17 17:43:30
阅读次数：
208
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
实现效果如图： 功能需求： ①鼠标进入商品名称，商品名称变色，同时对应的物品展示图片显示对应的物品，鼠标移出时候，商品名称恢复原来的颜色 实现分析： 1.HTML+CSS页面结构如下： 页面结构设计中，需要注意的知识点： ①商品li设置边框时候，只设置下边框 ②三个列表之间的分割线，使用id为cen ...
分类：
Web程序 时间：
2019-01-16 16:41:08
阅读次数：
243
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便 ...
分类：
Web程序 时间：
2019-01-14 11:52:46
阅读次数：
210
