1、sc.runJob -> dagScheduler.runJob -> submitJob 2、DAGSchedueler::submitJob 会创建 JobSubmitted 的 event 发给内嵌类 eventProcessActor 3、eventPRocessActor 在接收到 J ...
分类：
其他好文 时间：
2017-08-01 12:53:15
阅读次数：
171
本质上在Actions算子中通过SparkContext运行提交作业的runJob操作，触发了RDD DAG的运行。 依据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。 无输出 foreach 对RDD中的每一个元素都应用f函数操作，不返回RD ...
分类：
其他好文 时间：
2017-07-21 18:17:34
阅读次数：
257
MapReduce的运行流程简单概括例如以下：用户作业运行JobClient.runJob(conf)代码会在Hadoop集群上将其启动。启动之后JobClient实例会向JobTracker获取JobId。并且client会将作业运行须要的作业资源拷贝到HDFS上，然后将作业提交给JobTrack ...
分类：
其他好文 时间：
2017-07-17 20:24:16
阅读次数：
187
ation算子通过sparkContext执行提交作业的runJob，触发rdd的DAG执行 （foreach） foreach（f） 会对rdd中的每个函数进行f操作，下面的f操作就是打印输出没有元素 saveAsTextFile foreach（f） 会对rdd中的每个函数进行f操作，下面的f操 ...
分类：
其他好文 时间：
2017-03-23 20:10:07
阅读次数：
149
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。 根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。 无输出 foreach 对RDD中的每个元素都应用f函数操作，不返回RDD ...
分类：
其他好文 时间：
2017-01-20 21:54:42
阅读次数：
264
Spark Action会触发SparkContext类的runJob，而runJob会继续调用DAGSchduler类的runJob DAGSchduler类的runJob方法调用submitJob方法，并根据返回的completionFulture的value判断Job是否完成。 onRecei ...
分类：
其他好文 时间：
2016-10-28 20:08:11
阅读次数：
246
官方手册：http://hbase.apache.org/book.html#mapreduce.example 简单的操作，将hbase表中的数据写入到文件中。 RunJob 源码： MyMapper代码： MyReducer代码： ...
分类：
其他好文 时间：
2016-06-30 09:51:19
阅读次数：
226
一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的： public static RunningJob runJob(JobConf job) throws IOException { //首先 ...
分类：
其他好文 时间：
2016-06-14 20:59:39
阅读次数：
305
上一篇我们讲到了spark的runJob方法提交job运行，runJob在提交时，需要RDD和一个函数，那么运行机制是什么呢？函数如何运行的呢？首先job被提交后，需要切分stage，然后每个stage会划分成一组task提交executor运行。如何切分stage和task，需要另写一篇来解读。那
分类：
其他好文 时间：
2016-03-08 02:08:47
阅读次数：
236
Spark中job由action动作生成，那么stage是如何划分的呢？一般的解答是根据宽窄依赖划分。那么我们深入源码看看吧一个action 例如count，会在多次runJob中传递，最终会到一个函数 dagScheduler.runJob(rdd, cleanedFunc, partitions...
分类：
其他好文 时间：
2016-01-01 23:04:37
阅读次数：
319
