开发者社区> 问答> 正文

hadoop中Yarn 的 Job 提交流程是什么?

hadoop中Yarn 的 Job 提交流程是什么?

展开
收起
游客qzzytmszf3zhq 2021-12-08 21:58:25 383 0
1 条回答
写回答
取消 提交回答
  • client向RM提交应用程序,其中包括启动该应用的ApplicationMaster的必须信息,例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等

    ResourceManager启动一个container用于运行ApplicationMaster

    启动中的ApplicationMaster向ResourceManager注册自己,启动成功后与RM保持心跳

    ApplicationMaster向ResourceManager发送请求,申请相应数目的container

    申请成功的container,由ApplicationMaster进行初始化。container的启动信息初始化后,AM与对应的NodeManager通信,要求NM启动container

    NM启动container

    container运行期间,ApplicationMaster对container进行监控。container通过RPC协议向对应的AM汇报自己的进度和状态等信息

    应用运行结束后,ApplicationMaster向ResourceManager注销自己,并允许属于它的container被收回

    2021-12-08 21:58:38
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载
海量结构化和非结构化大数据Hadoop集群规划 立即下载

相关实验场景

更多