这个模式所做的事情概括一下就是把多个不同的任务和操作合并到一个计算单元中，从而使云计算应用提高计算资源利用率，降低管理开销和任务之间连接交互的开销。
PS:我这里对后文中所翻译的“计算单元”做个小小的注释，这里的计算单元可以认为是逻辑的运行容器，可以是基于cgroup的各种container，也可以是像Storm中的worker，Spark中的Executor等等。这个模式除了在自己设计分布式系...
分类：
其他好文 时间：
2015-01-25 12:37:47
阅读次数：
333
spark的Executor是执行task的容器。和java的executor概念类似。===================start executor runs task============================->CoarseGrainedExecutorBackend::rec...
分类：
其他好文 时间：
2015-01-25 06:27:23
阅读次数：
213
调度算法的最基本工作之一，就是比较两个可执行的task的优先级。spark提供的FIFO和FAIR的优先级比较在SchedulingAlgorithm这个接口体现。FIFO:--计算优先级的差。注意，在程序中，大部分时候是优先级的数字越小，它优先级越高--如果优先级相同，那么stage编号越靠前，优...
分类：
编程语言 时间：
2015-01-25 01:21:47
阅读次数：
233
任务调度器的接口类。应用程序可以定制自己的调度器来执行。当前spark只实现了一个任务调度器TaskSchedulerImpl===================task scheduler begin====================->TaskSchedulerImpl::submitT...
分类：
其他好文 时间：
2015-01-25 01:18:22
阅读次数：
285
Stage 是一组独立的任务，他们在一个job中执行相同的功能（function），功能的划分是以shuffle为边界的。DAG调度器以拓扑顺序执行同一个Stage中的task。/** * A stage is a set of independent tasks all computing the...
分类：
其他好文 时间：
2015-01-25 01:16:36
阅读次数：
197
DAGScheduler最终创建了task set，并提交给了taskScheduler。那先得看看task是怎么定义和执行的。Task是execution执行的一个单元。/** * A unit of execution. We have two kinds of Task's in Spark:...
分类：
其他好文 时间：
2015-01-24 00:28:49
阅读次数：
488
在前面的sparkContex和RDD都可以看到，真正的计算工作都是同过调用DAGScheduler的runjob方法来实现的。这是一个很重要的类。在看这个类实现之前，需要对actor模式有一点了解：http://en.wikipedia.org/wiki/Actor_modelhttp://www...
分类：
其他好文 时间：
2015-01-24 00:26:17
阅读次数：
455
上一篇 Linux 上安装 weblogic12C （静默安装）介绍了静默方式安装weblogic12C的方式,这一篇主要介绍在windows主机上通过远程图形界面的方式安装weblogic的方式一、前期准备首先下载软件Xmanager，下载链接点我 （百度网盘），包含了注册码。Xmanager安装...
分类：
Web程序 时间：
2015-01-23 19:55:26
阅读次数：
207
Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序...
分类：
编程语言 时间：
2015-01-23 18:30:06
阅读次数：
267
异常截图： 解决方法： export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
分类：
编程语言 时间：
2015-01-23 17:45:40
阅读次数：
190
