本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品；然后介绍 Spark on Kubernetes；最后进行实际演示。
分类：
其他好文 时间：
2020-12-17 12:22:18
阅读次数：
2
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 ...
分类：
其他好文 时间：
2020-12-17 12:09:25
阅读次数：
2
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-based Approach，根据低级api得到了Direct Approach，而在0.10由于kafka只有一套消费者 ...
分类：
其他好文 时间：
2020-12-16 11:50:30
阅读次数：
4
【福利】北风网大数据之spark从入门到精通（三）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是SSpark深入剖析。
分类：
其他好文 时间：
2020-12-11 12:23:58
阅读次数：
2
【福利】北风网大数据之spark从入门到精通（四）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是内存计算框架Spark。
分类：
其他好文 时间：
2020-12-11 12:23:45
阅读次数：
3
在上一文中 通过IDEA集成Docker插件实现微服务的一键部署，但前后端分离的项目，除了后端微服务的部署之外，当然还少不了前端工程的部署。所以本篇讲述如何通过Docker安装Nginx实现前端Vue项目工程的部署。 ...
分类：
其他好文 时间：
2020-12-10 10:57:47
阅读次数：
4
利用Spark往Hive中存储parquet数据，针对一些复杂数据类型如map、array、struct的处理遇到的问题？为了更好的说明导致问题 ...
分类：
其他好文 时间：
2020-12-08 12:44:11
阅读次数：
4
宝塔漏洞XSS窃取宝塔面板管理员漏洞高危分类专栏：网站安全网站被篡改网站被黑如何防止网站被侵入如何防止网站被黑网站安全服务如何防止网站被挂马网站安全维护网站安全防护服务网站安全问题怎么查找网站漏洞网站后门检测工具Linux服务器安全配置网站***检测网站被挂马怎么办网站安全检测ecshop漏洞修复MetInfo漏洞修复ecshop网站安全修补网站安全文章标签：网站漏洞修复宝塔面板漏洞版权宝塔是近几年
分类：
其他好文 时间：
2020-12-07 12:12:56
阅读次数：
4
一、概述：1、面板特色功能：一键配置服务器环境（LAMP/LNMP）一键安全重启一键创建管理网站、ftp、数据库一键部署SSL证书一键部署源码（discuz、wordpress、dedecms、z-blog、微擎等等）一键配置（定期备份、数据导入、伪静态、301、SSL、子目录、反向代理、切换PHP版本）一键安装常用PHP扩展(fileinfo、intl、opcache、imap、memcache
分类：
系统相关 时间：
2020-12-04 11:15:37
阅读次数：
7
设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
