码迷,mamicode.com
首页 >  
搜索关键字:spark jar包依赖 submit    ( 13476个结果
HTML5表单制作
常见的表单元素有文本框,密码框,单选按钮,复选框,列表框,图片按钮,多行文本域,文件域,邮箱,网址,数字,滑块,搜索框, type :指定元素的类型text、password、checkbox、radio、submit、reset、file、hidden、image 和 button,默认为 tex ...
分类:Web程序   时间:2020-07-16 21:42:31    阅读次数:271
oracle定时任务
--语句新建一个定时任务 declare job number;BEGIN DBMS_JOB.SUBMIT( JOB => job, /*自动生成JOB_ID*/ WHAT => 'p_monitor_tablespace;', /*需要执行的存储过程名称或SQL语句*/ NEXT_DATE => ...
分类:数据库   时间:2020-07-16 21:24:07    阅读次数:107
Spark的Shuffle机制
什么是Shuffle 在RDD中,将每个相同key的value聚合起来。相同key的value可能在不同partition,也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有:groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类:其他好文   时间:2020-07-16 10:12:36    阅读次数:63
MapReduce之Shuffle详解
Hadoop原生的计算框架MapReduce,简单概括一下:进程量级很重,启动很慢,但能承载的数据量很大,效率相较于Spark微批处理和Flink实时来讲很慢,Shuffle任何一个写MR同学都必须掌握的东西,说难不难,说简单也不简单 MapReduce程序的五个阶段: input map shuf ...
分类:其他好文   时间:2020-07-15 15:53:30    阅读次数:58
Spark学习(二)win10部署Hadoop+Spark
1.Hadoop (1)安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考: https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了,交换一下就行】 http: ...
分类:Windows程序   时间:2020-07-14 10:32:49    阅读次数:115
推荐系统大规模特征工程与FEDB的Spark基于LLVM优化
今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践,主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用,可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
分类:数据库   时间:2020-07-14 09:27:20    阅读次数:72
Spark on K8S (Kubernetes Native)
Spark on K8S 的几种模式 Standalone:在 K8S 启动一个长期运行的集群,所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native:通过 spark-submit 直接向 K8S 的 API Server 提交,申请到资源后启动 Pod ...
分类:Web程序   时间:2020-07-14 09:25:00    阅读次数:89
Spark小实例(统计出日志中出现排行前10的IP地址)IDEA实现
首先创建好项目工程,如下图:完善pom.xml文件,具体为:(依据自己的spark版本做修改)<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类:其他好文   时间:2020-07-14 09:21:08    阅读次数:78
Spark 源码解读(一)SparkContext的初始化之TaskScheduler的启动
Spark 源码解读(一)SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后,需要调用start()方法才可以生效,SparkContext的代码如下: _taskScheduler.start() TaskScheduler在启动的时候,实际 ...
分类:其他好文   时间:2020-07-14 00:25:58    阅读次数:81
《数据算法 Hadoop Spark大数据处理技巧》
数据算法 Hadoop Spark大数据处理技巧 ...
分类:编程语言   时间:2020-07-13 18:11:22    阅读次数:80
13476条   上一页 1 ... 26 27 28 29 30 ... 1348 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!