使用event-source-polyfill 前提： 严格的来说，HTTP协议无法做到服务端主动推送消息，但是，有一种方法，是服务器向客户端声明，接下来要发送的是流信息（streaming）。也就是说，发送的不是一次性的数据包，而是一个数据流，会连续不断的发送过来，这时，客户端不会关闭链接，会一直 ...
分类：
其他好文 时间：
2020-12-19 11:37:37
阅读次数：
1
本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品；然后介绍 Spark on Kubernetes；最后进行实际演示。
分类：
其他好文 时间：
2020-12-17 12:22:18
阅读次数：
2
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 ...
分类：
其他好文 时间：
2020-12-17 12:09:25
阅读次数：
2
struct uvc_streaming_control { __u16 bmHint; __u8 bFormatIndex; //视频格式索引 __u8 bFrameIndex; //视频帧索引 __u32 dwFrameInterval; //视频帧间隔 __u16 wKeyFrameRate; ...
分类：
其他好文 时间：
2020-12-16 11:56:30
阅读次数：
2
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-based Approach，根据低级api得到了Direct Approach，而在0.10由于kafka只有一套消费者 ...
分类：
其他好文 时间：
2020-12-16 11:50:30
阅读次数：
4
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
从端口读数据读取到本地文件 #1.给三个组件命名 a3.sources = r1 a3.channels = c1 a3.sinks = k1 #2.给source组件属性赋值 a3.sources.r1.type = avro a3.sources.r1.bind = hadoop102 a3.s ...
分类：
Web程序 时间：
2020-12-14 12:51:33
阅读次数：
7
【福利】北风网大数据之spark从入门到精通（三）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是SSpark深入剖析。
分类：
其他好文 时间：
2020-12-11 12:23:58
阅读次数：
2
【福利】北风网大数据之spark从入门到精通（四）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是内存计算框架Spark。
分类：
其他好文 时间：
2020-12-11 12:23:45
阅读次数：
3
利用Spark往Hive中存储parquet数据，针对一些复杂数据类型如map、array、struct的处理遇到的问题？为了更好的说明导致问题 ...
分类：
其他好文 时间：
2020-12-08 12:44:11
阅读次数：
4
