1. 核心概念 StreamingContext Create StreamingContext StreamingContext的构造函数 batch interval 可以根据你的应用程序需求的延迟要求以及集群可用的资源状况来设置 创建StreamingContext可以做什么？ 1. Defi ...
分类：
其他好文 时间：
2018-09-23 13:50:25
阅读次数：
168
1. Spark Streaming入门 1. 概述 Spark Streaming is an extension of the core Spark API that enables scalable(Spark Streaming是基于Spark Core的扩展) high throughpu ...
分类：
其他好文 时间：
2018-09-20 00:55:58
阅读次数：
232
gRPC Streaming的操作对象由服务端和客户端组成。在一个包含了多个不同服务的集群环境中可能需要从一个服务里调用另一个服务端提供的服务。这时调用服务端又成为了提供服务端的客户端了（服务消费端）。那么如果我们用streaming形式来提交服务需求及获取计算结果就是以一个服务端为Source另一 ...
分类：
其他好文 时间：
2018-09-17 11:39:28
阅读次数：
181
第1章 课程介绍 1-1 -导学- 1-2 -授课习惯和学习建议 1-3 -OOTB环境使用演示 1-4 -Linux环境及软件版本介绍 1-5 -Spark版本升级第2章 初识实时流处理 2-1 -课程目录 2-2 -业务现状分析 2-3 -实时流处理产生背景 2-4 -实时流处理概述 2-5 - ...
分类：
其他好文 时间：
2018-09-15 15:21:53
阅读次数：
584
解决方法： 修改simple.sbt文件： 切记：中间相连部分两个百分号一定要写上 ...
分类：
Web程序 时间：
2018-09-12 21:42:04
阅读次数：
1555
1、安装python库 sudo apt-get install python-pipsudo pip install flask 2、下载flask-video-streaming源码 https://github.com/miguelgrinberg/flask-video-streaming ...
分类：
其他好文 时间：
2018-09-12 01:26:12
阅读次数：
638
使用checkpoint进行故障恢复 如果发生故障或关机，可以恢复之前的查询的进度和状态，并从停止的地方继续执行。这是使用Checkpoint和预写日志完成的。您可以使用检查点位置配置查询，那么查询将将所有进度信息（即，每个触发器中处理的偏移范围）和运行聚合（例如，示例中的wordcount）保存到 ...
分类：
其他好文 时间：
2018-09-11 14:18:35
阅读次数：
198
推荐阅读：1，StructuredStreaming简介 使用Structured Streaming基于事件时间的滑动窗口的聚合操作是很简单的，很像分组聚合。在一个分组聚合操作中，聚合值被唯一保存在用户指定的列中。在基于窗口的聚合的情况下，对于行的事件时间的每个窗口，维护聚合值。 如前面的例子，我 ...
分类：
其他好文 时间：
2018-09-11 14:12:20
阅读次数：
424
鉴于很多小白经常问我如何用idea提交任务到yarn，这样测试的时候不用频繁打包。 昨天，晚上健身回来录了一个小视频，说是小视频但是耗时也比较长，将近40min。可能是健身脱水太多，忘了补充盐分，无力感十足。 构建工程的命令： 这样做的目的是，为我接下来分享spark streaming视频做铺垫， ...
分类：
其他好文 时间：
2018-09-11 14:06:06
阅读次数：
346
本文主要是想聊聊flink与kafka结合。当然，单纯的介绍flink与kafka的结合呢，比较单调，也没有可对比性，所以的准备顺便帮大家简单回顾一下Spark Streaming与kafka的结合。 看懂本文的前提是首先要熟悉kafka，然后了解spark Streaming的运行原理及与kafk ...
分类：
其他好文 时间：
2018-09-11 14:03:58
阅读次数：
188
