2015-07-28 10:03:21,557 Stage-2 map = 100%, reduce = 0%
Ended Job = job_1437720498561_1035 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1437720498561_10...
分类：
其他好文 时间：
2015-07-28 11:05:54
阅读次数：
705
前面提到，submitMissingTask是分发任务的开始，首先submitMissingTasks判断该stage是否为shuffle map stage，是则getPreferredLocs，实例化一个ShuffleMapTasks返回一组task集合，否则是final stage，getPr...
分类：
Web程序 时间：
2015-07-26 22:37:00
阅读次数：
645
回到dagScheduler.runJob，submit提交作业返回waiter，waiter.awaitResult阻塞线程，判断Job是否执行成功def runJob[T, U: ClassTag]( rdd: RDD[T], func: (TaskContext, Iter...
分类：
Web程序 时间：
2015-07-26 22:32:54
阅读次数：
200
引言上一小节《TaskScheduler源码与任务提交原理浅析2》介绍了Driver侧将Stage进行划分，根据Executor闲置情况分发任务，最终通过DriverActor向executorActor发送任务消息。
我们要了解Executor的执行机制首先要了解Executor在Driver侧的注册过程，这篇文章先了解一下Application和Executor的注册过程。1. Task类及其...
分类：
其他好文 时间：
2015-07-20 23:38:48
阅读次数：
174
引言上一节《Stage生成和Stage源码浅析》中，我介绍了Stage生成划分到提交Stage的过程，分析最终归结到submitStage的递归提交Stage，其中要通过submitMissingTasks函数创建task集合来实现任务的创建和分发。
在接下来的几篇文章中，我将具体介绍一下任务创建和分发的过程，为了让逻辑更加清楚，我将分成几篇文章进行介绍，好保证简明清晰，逻辑连贯，前后统一。Tas...
分类：
其他好文 时间：
2015-07-18 22:50:59
阅读次数：
208
引言上一节《TaskScheduler源码与任务提交原理浅析1》介绍了TaskScheduler的创建过程，在这一节中，我将承接《Stage生成和Stage源码浅析》中的submitMissingTasks函数继续介绍task的创建和分发工作。DAGScheduler中的submitMissingTasks函数如果一个Stage的所有的parent stage都已经计算完成或者存在于cache中，那...
分类：
其他好文 时间：
2015-07-18 22:49:09
阅读次数：
140
引入上一篇文章《DAGScheduler源码浅析》中，介绍了handleJobSubmitted函数，它作为生成finalStage的重要函数存在，这一篇文章中，我将就DAGScheduler生成Stage过程继续学习，同时介绍Stage的相关源码。Stage生成Stage的调度是由DAGScheduler完成的。由RDD的有向无环图DAG切分出了Stage的有向无环图DAG。Stage的DAG通过...
分类：
其他好文 时间：
2015-07-15 22:46:51
阅读次数：
191
DAGSchedulerDAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置
记录哪个RDD或者Stage输出被物化
面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler执行
重新提交shuffle输出丢失的stage
每一个Stage内，都是独立的tasks，他们共同执行同一个compu...
分类：
其他好文 时间：
2015-07-15 19:25:54
阅读次数：
1476
今天正式学习flash3D。
先配置：
这样配置好了。
接下来是第一个flash3D。
import flash.display.MovieClip;
import flash.events.Event;
import flash.display.Stage;
import away3d.primitives.WireframeSphere;
import away3d.conta...
分类：
其他好文 时间：
2015-07-15 13:18:24
阅读次数：
134
练习用creatJs做个h5的飚车小游戏，正好把开发过程记录下来。第一步 创建汽车用到了creatJs的SpriteSheet方法，看名字就知道是图片定位。还有个Ticker事件，就是让画布动起来。思路就是创建一个汽车的数据，添加到画布里。在canvas里生成的汽车效果图： var stage = ...
分类：
Web程序 时间：
2015-07-13 00:32:58
阅读次数：
234
