接着上篇来说。hadoop首先调度辅助型task(job-cleanup task、task-cleanup task和job-setup task)，这是由JobTracker来完成的；但对于计算型task，则是由作业调度器TaskScheduler来分配的，其默认实现为JobQueueTas.....
分类：
其他好文 时间：
2014-11-09 19:22:52
阅读次数：
183
原因：windown的自动维护引起，我的解决方法： <1>禁用服务： 打开控制面板—〉管理工具—〉任务计划程序—〉 然后找到?\Microsoft\Windows\TaskScheduler 禁用Idle?Maintenance、Regular?Maintenance两项任务...
DAGScheduler面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler运行。每个Stage内，都是独立的tasks，他们共同运行同一个compute function，享有同样的shuffledependencies。DAG在切分stag...
分类：
其他好文 时间：
2014-10-14 23:37:19
阅读次数：
344
hive在生产环境中由于用户数量和身份的不同，难免会对用户按组进行划分，根据不同组的优先级划分hadoop资源，hadoop fairscheduler支持按用户组划分资源池，每个group对应一个组pool，然后根据pool优先级划分mapreduce资源，在map-site.xml中添加以下配置即可实现按组划分:
mapred.jobtracker.taskScheduler...
分类：
其他好文 时间：
2014-09-16 17:29:10
阅读次数：
286
在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题，就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的，具体来说，存在一个抽象类：TaskScheduler，主要负责分配任务，继承该类的有几个类：Capaci...
分类：
其他好文 时间：
2014-08-30 05:36:19
阅读次数：
359
经过前面文章的SparkContext、DAGScheduler、TaskScheduler分析，再从总体上了解Spark Job的调度流程1、SparkContext将job的RDD DAG图提交给DAGScheduler；2、DAGScheduler将job分解成Stage DAG，将每个Sta...
分类：
其他好文 时间：
2014-08-02 04:07:42
阅读次数：
1266
需要引用Microsoft.Win32.TaskScheduler.dll 类库记得using Microsoft.Win32.TaskScheduler; /// /// 创建windows计划任务 /// /// 任务名称 ...
一、TaskScheduler类作用 1， 2二、TaskScheduler 1， 2
分类：
其他好文 时间：
2014-07-14 23:15:51
阅读次数：
197
DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage，并在每一个stage内产生一系列的task，并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程：val sc = new SparkConte...
分类：
其他好文 时间：
2014-07-05 21:16:38
阅读次数：
198
我们经常会遇到生产者消费者模式，比如前端各种UI操作事件触发后台逻辑等。在这种典型的应用场景中，我们可能会有4个业务处理逻辑（下文以P代表生产者，C代表消费者）：
1. FIFO（先进先出）
P产生1,2,3,4,5,6,3,2
C处理顺序应为1,2,3,4,5,6,3,2
2.LIFO(后进先出）
P产生1,2,3,4,5,6,3,2
C处...
分类：
其他好文 时间：
2014-06-04 21:51:08
阅读次数：
421
