开发者学堂课程【Hadoop 分布式资源管理框架 YARN:YARN 基本架构】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/95/detail/1564
YARN 基本架构
一、Yarn 资源调度器
Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于个分布式的操作系统平台,
而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。
二、Yarn 基本架构
YARN 主要由 ResourceManager、NodeManager、ApplicationMaster和Container 等组件构成,如图 4-23 所示。
1、ResourceManager ( RM ) 主要作用如下
(1)处理客户端请求
(2)监控 NodeManager
(3) JXApplicationMaster
(4)资源的分配与调度
2、NodeManager ( NM ) 主要作用如下
(1)管理单个节点上的资源
(2)处理来自 ResourceManager 的命令
(3)处理来自 ApplicationMaster 的命令
3、ApplicationMaster ( AM ) 作用如下
(1)负责数据的切分
(2)为应用程序申请资源并分配给内部的任务
(3)任务的监控与容错
4、Container
Container 是 YARN 中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。