一 概述 MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后。资源管理模块则交由YARN实现，这样为了让MapReduce框架执行在 ...
分类：
移动开发 时间：
2017-07-03 15:11:06
阅读次数：
282
MapReduce作业可以细分为map task和reduce task，而MRAppMaster又将map task和reduce task分为四种状态： 1、pending：刚启动但尚未向resourcemanager发送资源请求； 2、scheduled：已经向resourceManager发 ...
分类：
其他好文 时间：
2016-08-14 07:20:48
阅读次数：
686
我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Yarn上运行的，换句话说，MRAppMaster上MapReduce作业处理总流程是什么？这就是本文要研究的重点。...
分类：
移动开发 时间：
2016-05-01 06:36:43
阅读次数：
214
转自：http://www.open-open.com/lib/view/open1453097241308.html 在MapReduce中，一个YARN 应用被称作一个job， MapReduce 框架提供的应用，master的一个实现被称作MRAppMaster MapReduce Job的时 ...
分类：
其他好文 时间：
2016-04-25 20:57:34
阅读次数：
190
Anatomy of a MapReduce Job
In MapReduce, a YARN application is called a Job. The implementation of the Application Master provided by the MapReduce
framework is called MRAppMaster.
Timeline ...
分类：
其他好文 时间：
2016-01-05 22:47:56
阅读次数：
292
resourcemanager：管理集群上面的资源 cpu和内存NodeManager:上面跑程序 applicationMaster 多个在NodeManager上面Mapreduce上面的程序叫MRAppMaster在NodeMnager上面Mapreduce 上运行MapTask或Reduce...
分类：
其他好文 时间：
2015-07-30 23:05:39
阅读次数：
130
在MRv1中，对象之间的作用关系是基于函数调用实现的，当一个对象向另外一个对象传递消息时，会直接采用函数调用的方式，并且这个过程是串行的。比如，当TaskTracker需要执行一个Task的时候，将首先下载Task依赖的文件(JAR包，二进制文件等，字典文件等)，然后执行Task。在整个过程中，下载依赖文件是阻塞式的，也就是说，前一个任务未完成文件下载之前，后一个新任务将一直处于等待状态，只有在下...
分类：
移动开发 时间：
2015-02-03 07:05:11
阅读次数：
191
YARN中实现了多个状态机对象，包括ResourceManager中的RMAppImpl、RMApp-AttemptImpl、RMContainerImpl和RMNodeImpl，NodeManager中的ApplicationImpl、ContainerImpl和LocalizedResource，MRAppMaster中的JobImpl、TaskImpl和TaskAttemptImpl等。为了...
分类：
其他好文 时间：
2014-10-09 18:24:27
阅读次数：
194
AppMaster向RM请求资源MRAppMaster :serviceinit // service to allocate containers from RM (if non-uber) or to fake it (uber) containerAllocator = creat...
分类：
其他好文 时间：
2014-09-11 15:12:42
阅读次数：
867
AppMaster向RM请求资源
//APPMASTER向RM发送心跳，更新资源请求结构，从分配好的内存结构取出分配的资源,具体任务分配是后台异步的由NM发送心跳驱动
MRAppMaster
:serviceinit
// service to allocate containers from RM (if non-uber) or to fake it (uber)
conta...
分类：
其他好文 时间：
2014-09-09 12:31:48
阅读次数：
244
