SparkContext创建：高层DAGScheduler, 底层TaskScheduler, SchedulerBackend
application=driver+executor
Spark的程序分成两个部分：driver和executor
driver驱动executor
Driver部分的源代码：SparkConf+SparkContext
executor具体执行...
分类：
其他好文 时间：
2016-05-12 12:43:38
阅读次数：
172
Spring Task定时任务
1.基于Spring Task的任务调度方法：
Spring框架自带的异步执行（TaskExecutor）和任务调度（TaskScheduler）接口。
Spring Task官方地址：
http://docs.spring.io/spring/docs/current/spring-frame...
分类：
编程语言 时间：
2016-04-22 20:46:56
阅读次数：
192
Spark运行原理自我理解：
（1） 首先程序有RDD
Objects分解为DAG有向无环图
（2） 提交DAGScheduler，根据shuffer将DAG分解为一组taskset，即stages
（3） Taskset提交TaskScheduler，每个taskset在分解为多个task，即一个task就是一个split分区
...
分类：
其他好文 时间：
2016-04-15 12:21:40
阅读次数：
552
上一小节《TaskScheduler源代码与任务提交原理浅析2》介绍了Driver側将Stage进行划分。依据Executor闲置情况分发任务，终于通过DriverActor向executorActor发送任务消息。 我们要了解Executor的运行机制首先要了解Executor在Driver側的注
分类：
其他好文 时间：
2016-03-22 21:50:55
阅读次数：
348
TaskScheduler是SparkContext中的重要组成部分，负责任务的调度功能。为简单起见，本文以local模式为例，介绍TaskScheduler的启动原理
分类：
其他好文 时间：
2016-03-03 09:04:46
阅读次数：
225
TaskScheduler是SparkContext中的重要组成部分，负责任务的调度功能。为简单起见，本文以local模式为例，介绍TaskScheduler的启动原理
分类：
其他好文 时间：
2016-03-02 14:56:12
阅读次数：
184
转自：http://blog.csdn.net/androidlushangderen/article/details/41477061上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker，这次把目光 移动到TaskTracker上面。TaskTrack...
分类：
其他好文 时间：
2015-12-14 06:43:21
阅读次数：
219
Scheduler 模块中最重要的两个类是DAGScheduler 和 TaskScheduler。上篇讲了DAGScheduler，这篇讲TaskScheduler。TaskScheduler前面提到，在 SparkContext 初始化的过程中，根据 master 的类型分别创建不同的 Task...
分类：
其他好文 时间：
2015-10-04 20:51:24
阅读次数：
380
liveMedia 项目(live555)的源代码包括四个基本的库，各种测试代码以及Media Server。四个基本的库分别是: UsageEnvironment&TaskScheduler, groupsock, liveMedia和BasicUsageEnvironment。...
分类：
其他好文 时间：
2015-09-12 12:18:12
阅读次数：
243
hadoop1
配置 mapred-site.xml,增加如下内容
mapred.jobtracker.taskScheduler
org.apache.hadoop.mapred.FairScheduler
<...
分类：
其他好文 时间：
2015-08-28 13:23:03
阅读次数：
139
