传输文件到hadoop，从日志收集服务器 虽然这些scp就能完成，但是，scp怎么保证任务中断，负载均衡，状态查看。。。 flume能帮你做到这些，好强大啊，这个框架 ...
分类：
Web程序 时间：
2019-02-27 01:02:38
阅读次数：
373
一、agent 第一步是定义agent(代理)及agent下的sources、channels、sinks的简称，如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 二、sources 第二步是定义sources(接收数据源)，以下是常见的sourc ...
分类：
Web程序 时间：
2019-02-24 12:11:44
阅读次数：
244
一、Flume概述 Flume是一种分布式、可靠且可用的服务，用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。Flume使用简单的的可扩展数据模型，循环在线分析应用程序。 二、Flume的作用 ...
分类：
Web程序 时间：
2019-02-23 20:42:34
阅读次数：
193
2019/2/22星期五flume案例支持flume的部署类型//参考链接为https://www.cnblogs.com/qingyunzong/p/8994494.html1、单一流程2、多代理流程（多个agent顺序链接）不推荐有一段失败则整个event事件失败3、流的合并（多个Agent的数据汇聚到同一个Agent）//应用场景广泛4、多路复用流（多级流）//Flume还支持多级流，什么多
分类：
Web程序 时间：
2019-02-22 19:59:12
阅读次数：
224
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
1 错误详细信息 2 错误原因 配置文件写错了 3 正确应该是配置c2 也就是channel 4 完整的配置文件 ...
分类：
Web程序 时间：
2019-02-21 17:26:13
阅读次数：
139
flume伪分布式安装： 1、导包：apache-flume-1.7.0-bin.tar.gz 2、配置环境变量：/etc/profile export FLUME_HOME=/yang/apache-flume-1.7.0-bin export PATH=$PATH:$FLUME_HOME/bin ...
分类：
Web程序 时间：
2019-02-21 12:57:44
阅读次数：
233
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
翻译自官网flume1.8用户指南，原文地址：Flume 1.8.0 User Guide 一、 介绍 1. 概述 Apache Flume 是收集、汇总和移动大数据量的不同数据源到集中的数据仓库的分布式的、可靠的、可用的系统。 使用flume 不仅仅可以做日志收集。自从数据源可自定义，flume可 ...
分类：
Web程序 时间：
2019-01-28 17:41:31
阅读次数：
262
前言：最近有些浮躁，大环境变化无常，这种情况下唯有学习才是王道，好吧，开始学习flume！ 一、Flume简介 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。 Flume 初始的发行版本目前被统称为 Flume OG（original generation） ...
分类：
Web程序 时间：
2019-01-28 00:46:44
阅读次数：
187
