开发者社区> 问答> 正文

Yarn的资源调度的过程是什么?

Yarn的资源调度的过程是什么?

展开
收起
芯在这 2021-12-05 21:11:54 243 0
1 条回答
写回答
取消 提交回答
  • 1、客户端向resourcemanager发送提交任务的请求

    2、在resourcemanager端进行一系列的检查,检查输入和输出目录、权限

    3、所有的检查都通过,resourcemanager会为当前的应用程序分配一个nodemanager节点,并在这个节点上启动container。并在这个container中启动MRAppMaster

    4、MRAppMaster向resourcemanager申请资源,运行maptask任务和reducetask任务。

    5、resourcemanager向MRAppMaster返回资源,优先返回有数据的节点。

    6、MRAppMaster到相应的节点上启动container,然后在启动maptask任务和reducetask任务。

    7、maptask或reducet任务启动之后需要向MRAppMaster进行汇报自身的运行状态和进度。

    8、当maptask或reducetask运行完成,这个时候会向MRAppMaster进行注销自己,释放资源。

    9、当整个应用程序运行完后,MRAppMaster向reducemanage注销自己 释放资源

    2021-12-05 21:12:14
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载

相关实验场景

更多