Hadoop MapReduce两种架构

标签：执行   技术分享   部分   技术   汇报   模块   map   images   rac   

一、MRv1

　　Master - Slave 模式

主要包含4部分：JobTracker，TaskTracker，Task，Client

　　JobTracker：负责整个MR集群的资源监控和作业调度，集群的Master。它把任务进度 和 资源使用量告诉调度器TaskScheduler，由调度器来计划如何调度，调度器是个可挺拔模块。

　　TaskTracker：负责周期性的向JobTracker汇报每个节点的状况，并执行JobTracker发来的命令。TaskTracker使用slot来等量划分节点上的资源（CPU和内存），slot分为map slot 和 reduce slot两种，分别提供给map task 和 reduce task使用。

　　Task：分为MapTask 和 ReduceTask两种，由TaskTracker启动。通常一个Task只使用一个slot，但也可使用多个。

二、MRv2-Yarn

Hadoop MapReduce两种架构

标签：执行   技术分享   部分   技术   汇报   模块   map   images   rac   

原文地址：http://www.cnblogs.com/mzzcy/p/7078677.html