1、Yarn资源调度器
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行在于操作系统之上的应用程序。
1.1 Yarn基础架构
Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
1、ResourceManager（RM）主要作用：
（1）处理客户端请求
（2）监控NodeManager
（3）启动或监控ApplicationMaster
（4）资源的分配和调度
2、NodeManager(NM)主要作用：
（1）管理单个节点上的资源
（2）处理来自ResourceManager的命令
（3）处理来自ApplicationMaster的命令
3、ApplicationMaster（AM）的主要作用·：
（1）为应用程序申请资源并分配给内部的任务
（2）任务的监控与容错
4、Container
Container是Yarn中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
1.2 Yarn工作机制
（1）MR程序提交到客户端所在的节点
（2）YarnRunner向ResourceManager申请一个Application
（3）RM将该应用程序的资源路径返回给YarnRunner。
（4）该程序将运行所需资源提交到HDFS上
（5）程序资源提交完毕后，申请运行mrAppMaster
（6）RM将用户的请求初始化成一个Task
（7）其中一个NodeManager领取到Task任务
（8）该NodeManager创建容器，并尝试MRAppmaster
（9）Container从HDFS上拷贝资源到本地
（10）MRAppMaster向RM申请运行MapTask资源
（11）RM将运行MapTask任务分配给另外两个NodeManager，另外两个NodeManager分别领取任务并创建容器。
（12）MR向两个接受到任务的NodeManager发生程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
（13）MRAppMaster等待所以MapTask运行完毕后，向RM申请容器，运行Reduce Task。
（14）ReduceTask向MapTask获取相应分区的数据
（15）程序运行完毕后，MR会向RM申请注销自己。
1.3 作业提交全过程
1、作业提交过程之YARN
2、作业提交之HDFS&&MapReduce
作业提交全过程详解
（1）作业提交
（a）client调用job.waitForCompletion()方法，向整个集群提交MapReduce作业。
（b）client向RM申请一个作业id
（c）RM给Client返回该job资源的提交路径和作业id
（d）client提交jar包、切片信息和配置文件到指定的资源提交路径
（e）client提交完资源后，向RM申请运行MRAppMaster
（2）作业初始化
（a）当RM收到client的请求后，将该job添加到容量调度器中
（b）某一个空间的NM领到该Job
（c）该NM创建Container，并产生MRAppMaster
（d）下载Client提交的资源到本地
（3）任务分配
（a）MRAppMaster向RM申请运行多个MapTask任务资源
（b）RM将运行MapTask任务分配给另外两个NodeManager，这两个NodeManager分别领取任务并创建容器。
（4）任务运行
（a）MR向两个接受到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
（b）MRAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
（c）ReduceTask向MapTask获取相应分区的数据
（d）程序运行完毕后·，MR会向RM申请注销自己。
（5）进度和状态更新
Yarn中的任务将其进度和状态（包括counter）返回给应用管理器，客户端每秒（通过mapreduce.client.progressmonitor.pollinterval 设置）向应用管理器请求进度更新，展示给用户。
（6）作业完成
除了向应用管理器请求作用进度外，客户端每5秒都会通过调用waitForCompletion()方法来检查作业是否完成。时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。作业完成之后，应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器储存以备之后用户核查。
1.4 Yarn调度器和调度算法
目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。
CDH框架默认调度器是Fair Scheduler。
具体详见：yarn-default.xml文件
<property> <description>The class to use as the resource scheduler.</description> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property>
1.4.1 先进先出调度器（FIFO）
FIFO调度器（First In First Out）:单队列，根据提交·作业的先后顺序，先来先服务。
优点：简单易懂
缺点：不支持多队列，生产环境很少使用
1.4.2 容量调度器（Capacity Scheduler）
Yahoo开发的多用户调度器
1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略
2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序，则其他队列借调的资源会归还给该队列。
4、多租户：
（1）支持多用户共享集群和多应用程序同时运行
（2）为了防止同一个用户的作业独占队列中的资源，该调度器会对象同一用户提交的作业所占资源量进行限定。
容量调度器资源分配算法：
（1）队列资源分配
从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。
（2）作业资源分配
默认按照提交作业的优先级和提交时间顺序分配资源
（3）容器资源分配
按容器的优先级分配资源：
如果优先级相同，按照数据本地性原则：
（a）任务和数据在同一个节点
（b）任务和数据在同一个机架
（c）任务和数据不同节点和不同机架
