码迷,mamicode.com
首页 >  
搜索关键字:一键部署 spark    ( 7234个结果
Spark on K8S (Kubernetes Native)
Spark on K8S 的几种模式 Standalone:在 K8S 启动一个长期运行的集群,所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native:通过 spark-submit 直接向 K8S 的 API Server 提交,申请到资源后启动 Pod ...
分类:Web程序   时间:2020-07-14 09:25:00    阅读次数:89
Spark小实例(统计出日志中出现排行前10的IP地址)IDEA实现
首先创建好项目工程,如下图:完善pom.xml文件,具体为:(依据自己的spark版本做修改)<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类:其他好文   时间:2020-07-14 09:21:08    阅读次数:78
Spark 源码解读(一)SparkContext的初始化之TaskScheduler的启动
Spark 源码解读(一)SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后,需要调用start()方法才可以生效,SparkContext的代码如下: _taskScheduler.start() TaskScheduler在启动的时候,实际 ...
分类:其他好文   时间:2020-07-14 00:25:58    阅读次数:81
《数据算法 Hadoop Spark大数据处理技巧》
数据算法 Hadoop Spark大数据处理技巧 ...
分类:编程语言   时间:2020-07-13 18:11:22    阅读次数:80
《深度实践Spark机器学习》
tophua/spark-machine-learning-book Spark机器学习书代码 25 Jupyter Notebook Updated on 22 Dec 2017 zengxiaosen/eshop 电商+大数据+spark机器学习 11 Java Updated on 5 Dec ...
分类:其他好文   时间:2020-07-13 18:02:05    阅读次数:74
Hadoop、HBase、Spark单机安装
水平有限,本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机: $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类:其他好文   时间:2020-07-13 13:14:44    阅读次数:63
手把手带你玩转k8s-一键部署vue项目
前言 在快速开发框架-前端篇中少了一个章节,就是关于vue工程的一键发布脚本设计和实现。本文就在此展开,并部署到k8s环境中。 传统部署方式与k8s部署区别 在没有使用k8s之前的前后端分离项目部署,一般是依托于宿主机上的nginx。前端静态资源走nginx,后端接口会使用nginx做代理。而此时, ...
分类:其他好文   时间:2020-07-12 12:10:03    阅读次数:368
Could not locate executable null\bin\winutils.exe in the Hadoop binaries
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境,但并没有真正的搭建hadoop和spark 解决办法: ...
分类:Windows程序   时间:2020-07-12 10:31:00    阅读次数:98
半小时,利用FEDB将你的Spark SQL模型变为在线服务
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用,比如在金融行业的反欺诈,媒体行业的新闻推荐,能源行业管道检测,而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景,用于表之间拼接操作,比如交易信息表去拼接账户表2.使用udf进行简单的特征变换,比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类:数据库   时间:2020-07-09 17:54:20    阅读次数:99
Spark Streaming
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类:其他好文   时间:2020-07-08 13:26:09    阅读次数:59
7234条   上一页 1 ... 21 22 23 24 25 ... 724 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!