DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage,并在每一个stage内产生一系列的task,并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程:val sc = new SparkConte...
分类:
其他好文 时间:
2014-07-05 21:16:38
阅读次数:
198
新负责的程序采用生产者和消费者的模式,生产者的速度非常快,数据几乎都在内存里,处理起来很快。而消费者要频繁的I/O。所以打算给生产者和消费者分配不一样的核心。生产者只需要一个核心就够了,其余分配给消费者。查了下这方面的资料,shell端有taskset命令可用。taskset:-p
正在运行的进程p...
分类:
其他好文 时间:
2014-05-01 11:59:49
阅读次数:
474