Spark on K8S 的几种模式 Standalone:在 K8S 启动一个长期运行的集群,所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native:通过 spark-submit 直接向 K8S 的 API Server 提交,申请到资源后启动 Pod ...
分类:
Web程序 时间:
2020-07-14 09:25:00
阅读次数:
89
首先创建好项目工程,如下图:完善pom.xml文件,具体为:(依据自己的spark版本做修改)<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类:
其他好文 时间:
2020-07-14 09:21:08
阅读次数:
78
Spark 源码解读(一)SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后,需要调用start()方法才可以生效,SparkContext的代码如下: _taskScheduler.start() TaskScheduler在启动的时候,实际 ...
分类:
其他好文 时间:
2020-07-14 00:25:58
阅读次数:
81
数据算法 Hadoop Spark大数据处理技巧 ...
分类:
编程语言 时间:
2020-07-13 18:11:22
阅读次数:
80
tophua/spark-machine-learning-book Spark机器学习书代码 25 Jupyter Notebook Updated on 22 Dec 2017 zengxiaosen/eshop 电商+大数据+spark机器学习 11 Java Updated on 5 Dec ...
分类:
其他好文 时间:
2020-07-13 18:02:05
阅读次数:
74
水平有限,本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机: $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类:
其他好文 时间:
2020-07-13 13:14:44
阅读次数:
63
前言 在快速开发框架-前端篇中少了一个章节,就是关于vue工程的一键发布脚本设计和实现。本文就在此展开,并部署到k8s环境中。 传统部署方式与k8s部署区别 在没有使用k8s之前的前后端分离项目部署,一般是依托于宿主机上的nginx。前端静态资源走nginx,后端接口会使用nginx做代理。而此时, ...
分类:
其他好文 时间:
2020-07-12 12:10:03
阅读次数:
368
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境,但并没有真正的搭建hadoop和spark 解决办法: ...
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用,比如在金融行业的反欺诈,媒体行业的新闻推荐,能源行业管道检测,而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景,用于表之间拼接操作,比如交易信息表去拼接账户表2.使用udf进行简单的特征变换,比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类:
数据库 时间:
2020-07-09 17:54:20
阅读次数:
99
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类:
其他好文 时间:
2020-07-08 13:26:09
阅读次数:
59