在《Spark源码分析之七：Task运行（一）》一文中，我们详细叙述了Task运行的整体流程，最终Task被传输到Executor上，启动一个对应的TaskRunner线程，并且在线程池中被调度执行。继而，我们对TaskRunner的run()方法进行了详细的分析，总结出了其内Task执行的三个主要
分类：
其他好文 时间：
2016-03-14 08:21:23
阅读次数：
187
话说在《Spark源码分析之五：Task调度（一）》一文中，我们对Task调度分析到了DriverEndpoint的makeOffers()方法。这个方法针对接收到的ReviveOffers事件进行处理。代码如下： 代码逻辑很简单，一共分为三步： 第一，从ex
分类：
其他好文 时间：
2016-03-14 08:21:18
阅读次数：
226
各位看官，上一篇《Spark源码分析之Stage划分》详细讲述了Spark中Stage的划分，下面，我们进入第三个阶段--Stage提交。 Stage提交阶段的主要目的就一个，就是将每个Stage生成一组Task，即TaskSet，其处理流程如下图所示： 与Stag
分类：
其他好文 时间：
2016-03-14 08:20:36
阅读次数：
288
在前四篇博文中，我们分析了Job提交运行总流程的第一阶段Stage划分与提交，它又被细化为三个分阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。 Stage划分与提交阶段主要
分类：
其他好文 时间：
2016-03-14 08:17:53
阅读次数：
1416
在Task调度相关的两篇文章《Spark源码分析之五：Task调度（一）》与《Spark源码分析之六：Task调度（二）》中，我们大致了解了Task调度相关的主要逻辑，并且在Task调度逻辑的最后，CoarseGrainedSchedulerBackend的内部类DriverEndpoint中的ma
分类：
其他好文 时间：
2016-03-14 08:17:34
阅读次数：
262
在《Spark源码分析之Job提交运行总流程概述》一文中，我们提到了，Job提交与运行的第一阶段Stage划分与提交，可以分为三个阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。
分类：
其他好文 时间：
2016-03-14 08:16:44
阅读次数：
274
RDD的依赖关系和Stage的分类 在Spark中，每一个RDD是对于数据集在某一状态下的表现形式，而这个状态有可能是从前一状态转换而来的，因此换句话说这一个RDD有可能与之前的RDD(s)有依赖关系。根据依赖关系的不同，可以将RDD分成两种不同的类型：Narrow Dependency和Wide
分类：
其他好文 时间：
2016-03-04 22:25:21
阅读次数：
188
隐式转换函数implicit def function例如implicit def rddToPairRDDFunctions[K, V](rdd: RDD[(K, V)])scala> class Person(val name: String)defined class Personscala>...
分类：
其他好文 时间：
2016-01-13 00:35:22
阅读次数：
261
定义类class HiScala {private var name = "Spark"def sayName(){println(name)}def getName=name}实例化类scala> val scal = new HiScalascal: HiScala = HiScala@769d...
分类：
其他好文 时间：
2016-01-10 22:32:50
阅读次数：
184
本课内容: 1：scala中函数式编程彻底详解 2：Spark源码中的scala函数式编程 3：案例和作业函数式编程开始： def fun1(name: String){ println(name) } //将函数名赋值给一个变量，那么这个变量就是一个函数了。 val fun1_v = fun1_....
分类：
其他好文 时间：
2016-01-04 22:35:29
阅读次数：
201
