开发者社区> 问答> 正文

job的提交的过程是什么?

job的提交的过程是什么?

展开
收起
芯在这 2021-12-05 21:12:57 299 0
1 条回答
写回答
取消 提交回答
  • 1、客户端向ResourceManager提交job的申请

    2、ResourceManager进行一系列的检查,返回一个jobID(表示job提交的先后顺序)和一个共享资源路径HDFS

    3、客户端将共享资源job.jar job.split job.xml放在共享资源路径下

    4、客户端通知RM资源放置完成,并真正的开始提交应用程序。

    5、RM会返回一个NM节点,假设返回的是nodemanager02

    6、RM到对应的节点上限启动contaoiner,再启动MRAppMaster

    7、MRAppMaster进行初始化,生成一个作业薄。

    8、MRAppMaster去共享资源路径下载共享资源nodemanager02

    9、MRAppMaster想RM申请资源maptask reducetask

    10、RM向MRAppMaster返回资源,优先资源本地node01 node02 node03

    11、启动maptask前,先去共享资源下载jar包,MRAppMaster到对应的节点上启动maptask任务

    12、maptask向MRAppMaster汇报状态和进度

    13、reducetask获取maptask运行完成的时候,启动reducetask,启动之前先去下载jar包。

    14、Maptask和reducetask运行过程中,如有运行完成的则会向MRAppMaster注销自己,释放资源

    15、所有的maptask和reducetask运行完成,MRAppMaster向ResourceManager注销自己,释放资源

    2021-12-05 21:13:13
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载

相关实验场景

更多