Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。数据可以从许多来源（如Kafka，Flume，Kinesis或TCP套接字）中获取，并且可以使用以高级函数表示的复杂算法进行处理map，例如reduce，join和window。最后，处理后 ...
分类：
编程语言 时间：
2018-08-28 17:53:06
阅读次数：
207
大数据学习路线java(Java se,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm ...
分类：
其他好文 时间：
2018-08-25 14:28:06
阅读次数：
149
一、 Spark Streaming 构建在Spark core API之上，具备可伸缩，高吞吐，可容错的流处理模块。 1）支持多种数据源，如Kafka，Flume，Socket，文件等； Basic sources: Sources directly available in the Stream ...
分类：
其他好文 时间：
2018-08-25 14:13:02
阅读次数：
188
随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数 ...
分类：
其他好文 时间：
2018-08-21 16:02:11
阅读次数：
225
1 下载安装包并解压 下载地址：http://flume.apache.org/download.html 解压：tar zxvf apache-flume-1.8.0-bin.tar.gz 2 配置环境变量 vi ~/.bashrc 配置环境变量： export FLUME_HOME=/hmast ...
分类：
Web程序 时间：
2018-08-19 23:20:48
阅读次数：
299
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核 ...
分类：
Web程序 时间：
2018-08-19 20:07:13
阅读次数：
304
一：flume复习 1.flume是收集，聚合，移动日志的框架 2.agent: source: //接受数据的，生产者 //netcat //ExecSource实时收集：tail -F xxx.txt //spooldir监控文件夹 //seq //Stress 压力测试 //avroSourc ...
分类：
其他好文 时间：
2018-08-17 22:21:56
阅读次数：
210
Flume – 初识flume、source和sink 目录基本概念常用源 Source常用sink 基本概念 ? 什么叫flume？ 分布式，可靠的大量日志收集、聚合和移动工具。 ? events 事件，是一行数据的字节数据，是flume发送文件的基本单位。 ? flume配置文件 重命名flum ...
分类：
Web程序 时间：
2018-08-13 21:00:40
阅读次数：
264
http://flume.apache.org/ 安装 1、上传 2、解压 3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项 4、验证安装是否成功 ./flume-ng version 5、配置环境... ...
分类：
Web程序 时间：
2018-08-09 13:49:25
阅读次数：
192
1、source为http模式，sink为logger模式，将数据在控制台打印出来。 conf配置文件如下： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/c ...
分类：
Web程序 时间：
2018-08-08 14:57:25
阅读次数：
240
