通过前面的文章了解到 Driver将用户代码转换成streamGraph再转换成Jobgraph后向Jobmanager端提交 JobManager启动以后会在Dispatcher.java起来RPC方法submitJob(jobGraph),用于接收来自Driver转化得到的JobGraph来启动 ...
分类：
其他好文 时间：
2019-08-29 16:11:29
阅读次数：
214
JobManager 处理 SubmitJob <! more https://t.zsxq.com/3JQJMzZ 博客 1、 "Flink 从0到1学习 —— Apache Flink 介绍" 2、 "Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序 ...
分类：
其他好文 时间：
2019-08-13 22:54:52
阅读次数：
245
一个job的生命历程 （1）所有的action算子都会触发一个job的调度，经过多次不同的runjob重载后停在这里调度 submitJob （2）调用eventProcessLoop方法，并发送 JobSubmitted 消息给DAGSchedulerEventProcessLoop(DAGSch ...
分类：
其他好文 时间：
2018-06-15 00:55:59
阅读次数：
193
一个job的生命历程 dagScheduler.runJob //（1） --> submitJob ( eventProcessLoop.post(JobSubmitted,***) //（2） --> eventProcessLoop //（3） --> onReceive(event: DAG ...
分类：
其他好文 时间：
2018-01-21 01:06:43
阅读次数：
161
submitjob：：做了什么 1含有dagScheduler的runJob函数的runJob是入口，并且是堵塞的操作,即直到Spark完成Job的运行之前,rdd.doCheckpoint()是不会执行的。堵塞在3的waiter.awaitResult()操作,即submitJob会返回一个wai ...
分类：
其他好文 时间：
2017-10-07 20:38:26
阅读次数：
172
1、sc.runJob -> dagScheduler.runJob -> submitJob 2、DAGSchedueler::submitJob 会创建 JobSubmitted 的 event 发给内嵌类 eventProcessActor 3、eventPRocessActor 在接收到 J ...
分类：
其他好文 时间：
2017-08-01 12:53:15
阅读次数：
171
依旧是使用Geoprocessor来分析热点（密度），不过使用了submitJob()这个异步操作方法，有别于execute()这个同步操作方法。 ...
分类：
编程语言 时间：
2017-04-09 00:16:42
阅读次数：
386
submitJob方法分析JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job，JobManager接收到消息对象之后，构建一个JobInfo对象以...
分类：
其他好文 时间：
2017-04-03 18:20:09
阅读次数：
317
Spark Action会触发SparkContext类的runJob，而runJob会继续调用DAGSchduler类的runJob DAGSchduler类的runJob方法调用submitJob方法，并根据返回的completionFulture的value判断Job是否完成。 onRecei ...
分类：
其他好文 时间：
2016-10-28 20:08:11
阅读次数：
246
上一节举例讲解了transformation操作，这一节以reduce为例讲解action操作
首先看submitJob方法，它将我们reduce中写的处理函数随JobSubmitted消息传递出去，因为每个分区都需要调用它进行计算；
而resultHandler是指最后合并的方法，在每个task完成后，需要调用resultHandler将最终结果合并。所以它不需要随JobSubmitted消...
分类：
其他好文 时间：
2015-08-29 17:04:24
阅读次数：
225
