Flume NG高可用集群搭建： 架构总图： 架构分配： 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf)： collector1 ...
分类：
Web程序 时间：
2017-08-26 19:40:56
阅读次数：
373
Flume NG概述： Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责 ...
分类：
Web程序 时间：
2017-08-26 17:01:20
阅读次数：
246
Flume协作框架 Flume协作框架 1.概述 -》flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 2.框图 3.架构特点 -》on streaming data flows 基于流式的数据 数据流：job-》不断获取数据 任务流：j ...
分类：
Web程序 时间：
2017-08-23 00:40:34
阅读次数：
209
nginx常见日志收集及分析工具有rsyslog,awstats,flume,elk,storm等1nginxlocation作用：location指令的作用是可以根据用户请求的URL来执行不同的应用，就是根据用户请求的网站地址URL匹配，匹配成功即进行相关的操作。2location语法location[=|`||`*|][root@web01scripts]#cd/a..
分类：
其他好文 时间：
2017-08-22 10:49:35
阅读次数：
234
Apache Flume是一个分布式的、可靠的、高效的日志数据收集组件；我们通常使用Flume将分散在集群中多个Servers的log文件，汇集到中央式的数据平台中，以解决“从离散的日志文件中查看、统计数据困难”的问题。当然，Flume不仅仅可以收集log文件，它也支持比如TCP、UDP等消息数据的 ...
分类：
Web程序 时间：
2017-08-18 20:02:46
阅读次数：
177
spark-streaming与flume整合 push http://spark.apache.org/docs/1.6.3/streaming-flume-integration.html ...
分类：
Web程序 时间：
2017-08-14 14:16:21
阅读次数：
301
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-09 12:53:05
阅读次数：
232
概述 Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 S ...
分类：
其他好文 时间：
2017-08-08 15:17:44
阅读次数：
410
如果说大数据中分布式收集日志用的是什么，你完全可以回答Flume！（面试小心问到哦） 首先说一个复制本服务器文件到目标服务器上，需要目标服务器的ip和密码： 命令： scp filename ip:目标路径 一 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚 ...
分类：
Web程序 时间：
2017-08-07 10:02:36
阅读次数：
282
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 ...
分类：
Web程序 时间：
2017-08-01 16:35:15
阅读次数：
256
