背景
主体逻辑
具体实现
AM
YarnAllocator
Executor背景Spark on Yarn分yarn-cluster和yarn-client两种模式。
本文通过Cluster模式的TaskScheduler实现入手，梳理一遍spark on yarn的大致实现逻辑。
前提我对两种模式以及yarn任务的整体运行逻辑不是很清楚。
主体逻辑cluster模式中，使用的TaskSche...
分类：
其他好文 时间：
2015-02-15 18:06:53
阅读次数：
215
spark在这一块的设计是优秀的。图中，app内的SchedulerBackend是可以针对不同资源管理系统实现的，包括没有画出来的ExecutorBackend。这俩兄弟是典型的面向资源的层次上的抽象。另一方面，app内的TaskScheduler是与Task的分配和执行、管理相关的，这部分与下层面向资源的部分是隔离开的，所谓是面向摆放的。
换句话说，SchedulerBackend在1，2，3步之后，已经从集群里，获得了本身app的executors资源。通过它，TaskScheduler可以根据自己的...
分类：
其他好文 时间：
2015-02-12 16:13:13
阅读次数：
165
任务调度器的接口类。应用程序可以定制自己的调度器来执行。当前spark只实现了一个任务调度器TaskSchedulerImpl===================task scheduler begin====================->TaskSchedulerImpl::submitT...
分类：
其他好文 时间：
2015-01-25 01:18:22
阅读次数：
285
DAGScheduler最终创建了task set，并提交给了taskScheduler。那先得看看task是怎么定义和执行的。Task是execution执行的一个单元。/** * A unit of execution. We have two kinds of Task's in Spark:...
分类：
其他好文 时间：
2015-01-24 00:28:49
阅读次数：
488
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验...
分类：
其他好文 时间：
2015-01-19 19:06:45
阅读次数：
148
SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例：
进入createTaskScheduler方法：
spark内核揭秘-05-SparkContext核心源码解析初体验
我们看一下其Standalone的方式：
在上述代码中首先实例化一个TaskSchedulerImpl：
然后构建出了masterUrls：
接着创建出了非常关键的backend：...
分类：
其他好文 时间：
2015-01-19 15:47:44
阅读次数：
169
Live555主要用到的类介绍：
1.UsageEnvironment类：抽象基类
class UsageEnvironment {
public:
void reclaim();
// task scheduler:
TaskScheduler& taskScheduler() const {return fScheduler;}
// result message ha...
分类：
其他好文 时间：
2015-01-08 11:26:08
阅读次数：
270
上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker，这次把目光 移动到TaskTracker上面。TaskTracker在这里其实是一个slave的从属关系。我在后面的分析会通过TaskTracker的执行流程，主要讲他的2个过程的分析1.作业启动执行2.与JobTracker的heatbeat的过程。2个过程都是非常的典型。
与...
分类：
其他好文 时间：
2014-11-25 10:55:32
阅读次数：
321
最近做了一个需要和Windows Schedule task相关的功能，即通过schedule，计算下次跑task的时间。
通过是用第三方的DLL来实现，从下面的网站下载：
http://taskscheduler.codeplex.com/
1. 在Schedule Task里增加一个task，命名为“testJing”, trigger设置为每五天
增加一个Tri...
liveMedia项目的源代码包括四个基本的库，各种测试代码以及Media Server。四个基本的库分别是:UsageEnvironment&TaskScheduler, groupsock, liveMedia和BasicUsageEnvironment。1，基础类介绍：BasicUsageEn...
分类：
其他好文 时间：
2014-11-17 15:34:39
阅读次数：
256
