我们增加2个队列,一个是online队列,一个是offline队列
online队列里面运行实时任务
offline队列里面运行离线任务
具体步骤如下:修改集群中 etc/hadoop 目录下的 capacity-scheduler.xml 配置文件修改和增加以下参数,针对已有的参数,修改value中的值,针对没有的参数,则直接增加这里的 default 是需要保留的,增加 online,offline ,这三个队列的资源比例为 7:1:2具体的比例需要根据实际的业务需求来,看你们那些类型的任务比较多,对应的队列中资源比例就调高一些,我们现在暂时还没有online任务,所以我就把online队列的资源占比设置的小一些。先修改bigdata01上的配置
1:指定多队列
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,online,offline</value>
<description>队列列表</description>
</property>
2.指定默认队列资源70%
<property>
<name>
yarn.scheduler.capacity.root.default.capacity
</name>
<value>70</value>
<description>default队列70%</description>
</property>
3.另外两个队列的资源
<property>
<name>yarn.scheduler.capacity.root.online.capacity</name>
<value>10</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.offline.capacity</name>
<value>20</value>
</property>
4.资源上线
<property>
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
<value>70</value>
<description>Default队列可使用的资源上限.</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.online.maximum-capacity</name>
<value>10</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.offline.maximum-capacity</name>
<value>20</value>
</property>
分别拷贝到2号机和3号机
scp -rq capacity-scheduler.xml bigdata02:/data/soft/hadoop-3.2.0/etc/hadoop/
scp -rq capacity-scheduler.xml bigdata03:/data/soft/hadoop-3.2.0/etc/hadoop/
重启集群生效配置