阶段的划分 ? SparkContext对象包含有一个私有属性DAGScheduler阶段调度器，主要用于阶段的划分。在一个应用程序中，任务的提交都是从行动算子触发的。行动算子的方法内部会调用一个runJob方法，其中就有DAG调度器发挥运行Job的作用： dagScheduler.runJob(r ...
分类：
其他好文 时间：
2021-01-08 11:26:05
阅读次数：
0
一个job对应一个action操作，action执行会有先后顺序； 每个job执行会先构建一个DAG路径，一个job会含有多个stage，主要逻辑在DAGScheduler。 spark提交job的源码见（SparkContext.scala的runJob方法）： DAGScheduler--job ...
分类：
其他好文 时间：
2019-10-27 17:08:08
阅读次数：
115
上图是一个job的提交流程图，job提交的具体步骤如下一旦有action，就会触发DagScheduler.runJob来提交任务，主要是先生成逻辑执行图DAG，然后调用finalStage=newStage()来划分stage。newStage()的时候会调用finalRDD的getParentStages()；getParentStages()从finalRDD出发，反向visit逻辑执行图，
分类：
其他好文 时间：
2019-04-22 23:07:59
阅读次数：
335
spark任务运行的源码分析在整个spark任务的编写、提交、执行分三个部分：①编写程序和提交任务到集群中②sparkContext的初始化③触发action算子中的runJob方法，执行任务(1)编程程序并提交到集群：①编程spark程序的代码②打成jar包到集群中运行③使用spark-submit命令提交任务在提交任务时，需要指定--class程序的入口（有main方法的类），1）spark-
分类：
其他好文 时间：
2019-01-03 22:36:48
阅读次数：
181
一个job的生命历程 （1）所有的action算子都会触发一个job的调度，经过多次不同的runjob重载后停在这里调度 submitJob （2）调用eventProcessLoop方法，并发送 JobSubmitted 消息给DAGSchedulerEventProcessLoop(DAGSch ...
分类：
其他好文 时间：
2018-06-15 00:55:59
阅读次数：
193
当我们在使用spark编写mr作业是，最后都要涉及到调用reduce,foreach或者是count这类action来触发作业的提交，所以，当我们查看这些方法的源码时，发现底层都调用了SparkContext的runJob方法，而SparkContext的runJob方法又调用的DAGSchedul ...
分类：
其他好文 时间：
2018-04-05 23:10:53
阅读次数：
312
温度排序代码，具体说明可以搜索其他博客 KeyPair.java Sort.java: Partition.java: Group.java: RunJob.java: 其中自定义的sort和parititon是在mapTask任务之后使用的，而Group是在reduce任务使用的。 ...
分类：
编程语言 时间：
2018-03-29 16:42:20
阅读次数：
191
spark streaming task 序列化源码 1.入口 2.RDD.scala foreachPartition 代码逻辑 3.SparkContext runJob 代码逻辑 4.DAGScheduler runJob 代码逻辑 5.DAGSchedulerEventProcessLoop ...
分类：
其他好文 时间：
2018-03-08 18:06:11
阅读次数：
181
一个job的生命历程 dagScheduler.runJob //（1） --> submitJob ( eventProcessLoop.post(JobSubmitted,***) //（2） --> eventProcessLoop //（3） --> onReceive(event: DAG ...
分类：
其他好文 时间：
2018-01-21 01:06:43
阅读次数：
161
submitjob：：做了什么 1含有dagScheduler的runJob函数的runJob是入口，并且是堵塞的操作,即直到Spark完成Job的运行之前,rdd.doCheckpoint()是不会执行的。堵塞在3的waiter.awaitResult()操作,即submitJob会返回一个wai ...
分类：
其他好文 时间：
2017-10-07 20:38:26
阅读次数：
172
