需求：做一个windows服务，实现从ftp服务器实时下载或者更新文件到本地磁盘。 功能挺简单的。直接写个ftp工具类用定时器跑就能搞定，那我为什么不用呢？ 别问，问就是我无聊啊，然后研究一下Flume打发时间。哈哈~ 一、Flume部分 Source组件和Sink组件用的都是第三方。 source ...
agent选择 agent1 exec source + memory channel + avro sink agent2 avro source + memory channel 模拟实际工作中的场景，agent1 为A机器，agent2 为B机器。 avro source: 监听avro端口， ...
分类：
Web程序 时间：
2019-01-27 14:37:21
阅读次数：
239
1.问题场景 Centos7 做flume案例时，telnet hadoop-senior03.itguigu.com 44444 总是Connection redused， Trying 192.168.10.22...telnet: connect to address 192.168.10.2 ...
分类：
其他好文 时间：
2019-01-25 16:03:20
阅读次数：
287
在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示： （1）节点分配 Flume的Agent和Collector分布如下表所示： 名称 Ip地址 Host 角色 Agent1 192.168.200.101 Itcast01 WebServer Coll ...
分类：
其他好文 时间：
2019-01-23 00:25:43
阅读次数：
234
需求：AB两台日志服务器实时生产日志主要类型为access.log、nginx.log、web.log，现在要求：把A、B机器中的access.log、nginx.log、web.log采集汇总到C机器上然后统一收集到hdfs中，但是在hdfs中要求的目录为： /source/logs/access/日期/** /source/logs/nginx/日期
分类：
Web程序 时间：
2019-01-17 17:43:30
阅读次数：
208
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便 ...
分类：
Web程序 时间：
2019-01-14 11:52:46
阅读次数：
210
思路 1. 日志统一输出至kafka 2. flume agent充当kafka消费者,将日志输出至elasticsearch 3. kibana负责展示日志信息 准备工作 1. flume 1.8 kafka 1.1.0 elasticsearch&kibana 6.5.4 2. 项目中一般使用l ...
分类：
Web程序 时间：
2019-01-13 00:08:35
阅读次数：
356
拦截器 一、需求的产生 因生产需求，要将kafka中的数据上传至hdfs，所以计划部署flume来完成。 ? 1.需要将kafkaSource中的json数据解析成需要的数据格式，落地至hdfs，供hive加载，所以此处需要自定义拦截器，对event.body进行逻辑解析。 ? 2.同时因为不同ka ...
分类：
Web程序 时间：
2019-01-12 12:04:42
阅读次数：
217
项目架构：日志数据---->flume----->kafka-------->sparkstreaming---------->mysql/redis/hbase前置条件：安装zookeeper安装flume安装kafakhadoop实现高可用(1)实现flume收集数据到kafka启动kafak：nohupkafka-server-start.sh\/applicatio
分类：
其他好文 时间：
2019-01-07 22:38:15
阅读次数：
171
