1. 结构 1.1 概述 Structured Streaming组件滑动窗口功能由三个参数决定其功能：窗口时间、滑动步长和触发时间. 窗口时间：是指确定数据操作的长度； 滑动步长：是指窗口每次向前移动的时间长度； 触发时间：是指Structured Streaming将数据写入外部DataStre ...
分类：
其他好文 时间：
2017-09-03 21:11:33
阅读次数：
1273
Structured Streaming提供一些API来管理Streaming对象。用户可以通过这些API来手动管理已经启动的Streaming，保证在系统中的Streaming有序执行。 1. StreamingQuery 在调用DataStreamWriter方法的start启动Streamin ...
分类：
系统相关 时间：
2017-09-03 21:03:22
阅读次数：
208
Spark Structured Streaming目前的2.1.0版本只支持输入源：File、kafka和socket。 1. Socket Socket方式是最简单的数据输入源，如Quick example所示的程序，就是使用的这种方式。用户只需要指定"socket"形式并配置监听的IP和Por ...
分类：
其他好文 时间：
2017-09-03 20:14:20
阅读次数：
520
一.shell脚本中的相关配置 -input : 指定作业的输入文件的HDFS路径, 支持使用*通配符, 支持指定多个文件或目录, 可多次使用 -output : 指定作业的输出文件的HDFS路径, 输出目录不能存在, 执行作业的用户必须有创建该目录的权限, 只能使用一次 -mapper : 自己写 ...
分类：
其他好文 时间：
2017-09-03 14:15:05
阅读次数：
174
HTTP Live Streaming（HLS）是苹果公司提出来的流媒体传输协议。与RTP协议不同的是，HLS可以穿透某些允许HTTP协议通过的防火墙。 一、HLS播放模式 （1） 点播模式(Video on demand, VOD) 点播模式是指当前时间点可以获取到所有index文件和ts文件，二 ...
分类：
其他好文 时间：
2017-09-03 00:28:35
阅读次数：
353
Checkpoint机制 通过前期对Spark Streaming的理解，我们知道，Spark Streaming应用程序如果不手动停止，则将一直运行下去，在实际中应用程序一般是24小时*7天不间断运行的，因此Streaming必须对诸如系统错误、JVM出错等与程序逻辑无关的错误（failures ...
分类：
其他好文 时间：
2017-08-31 20:25:14
阅读次数：
201
spark streaming从指定offset处消费Kafka数据 2017-06-13 15:19 770人阅读 评论(2) 收藏 举报 分类： spark（5） 原文地址:http://blog.csdn.net/high2011/article/details/53706446 首先很感谢原... ...
分类：
其他好文 时间：
2017-08-30 18:33:06
阅读次数：
766
高维网络 【题目描述】 现在有一个 d 维的坐标网格，其中第 i 维坐标的范围是[0,a_i]。在这个范围内建立一个有向图：我们把范围内的每个整点（每一维坐标均为整数的点）当做图上的顶点。设点 A(0,0,?,0),B(a_1,a_2,?,a_d)。对于范围内的点(x_1,x_2,?,x_d)，它会 ...
分类：
其他好文 时间：
2017-08-29 18:11:00
阅读次数：
197
bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.2 examples/src/main/python/streaming/kafka_wordcount.py localhost:2181 tes ...
分类：
其他好文 时间：
2017-08-26 17:04:40
阅读次数：
371
Flume协作框架 Flume协作框架 1.概述 -》flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 2.框图 3.架构特点 -》on streaming data flows 基于流式的数据 数据流：job-》不断获取数据 任务流：j ...
分类：
Web程序 时间：
2017-08-23 00:40:34
阅读次数：
209
