yarn工作流程

标签：运行   参数   上传   命令   资源   task   监控   分片   检测   

1. client端向ResourceManager提交应用程序, 也就是client端会将 jar包,参数等数据上传到hdfs上的某路径下;

2. resourceManager将此应用程序添加到任务队列中;

3. 等待资源充沛时, resourceManager为该应用程序分配第一个container，在这个container中启动应用程序的ApplicationMaster; 

4. ApplicationMaster首先向ResourceManager注册，用户可以直接通过ResourceManager查看应用程序的运行状态, 还会进行分片等工作, 之后向ResourceManager申请运行任务所需的资源;

5. ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源, 发送命令让NodeManager创建container, 之后执行task;

6. ApplicationMaster监控job执行作业, 必要时候进行容错处理, 直到ApplicationMaster检测到job完成后, 向ResourceManager通知, 注销自己

yarn工作流程

标签：运行   参数   上传   命令   资源   task   监控   分片   检测   

原文地址：https://www.cnblogs.com/zourui4271/p/12041096.html