yarn-site.xml
是Apache Hadoop YARN(Yet Another Resource Negotiator)框架中的一个关键配置文件。它包含了YARN服务的配置参数,这些参数控制着资源管理、节点管理和应用程序调度等行为。以下是一些常见的yarn-site.xml
配置项及其含义:
<configuration>
<!-- 指定ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.address</name>
<value>host.example.com:8032</value>
</property>
<!-- 指定ResourceManager的调度器地址 -->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>host.example.com:8030</value>
</property>
<!-- 指定ResourceManager的RPC地址 -->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>host.example.com:8031</value>
</property>
<!-- 指定ResourceManager的Web UI地址 -->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>host.example.com:8088</value>
</property>
<!-- 指定NodeManager的地址 -->
<property>
<name>yarn.nodemanager.address</name>
<value>localhost:8041</value>
</property>
<!-- 指定NodeManager的Web UI地址 -->
<property>
<name>yarn.nodemanager.webapp.address</name>
<value>localhost:8042</value>
</property>
<!-- 指定NodeManager的日志目录 -->
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/tmp/hadoop-nm</value>
</property>
<!-- 指定NodeManager的日志容器目录 -->
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/tmp/logs</value>
</property>
<!-- 指定调度器类型,默认是CapacityScheduler -->
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
<!-- 指定默认队列 -->
<property>
<name>yarn.scheduler.capacity.root.default-user-limit-factor</name>
<value>-1.0</value>
</property>
<!-- 最大可用内存MB -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>8192</value>
</property>
<!-- 最大可用vCores -->
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property>
</configuration>
请注意,上述示例中的host.example.com
需要替换为实际的主机名或IP地址,而localhost
通常用于本地测试环境。在生产环境中,你应该使用实际的网络接口地址。
在修改yarn-site.xml
后,你可能需要重启YARN服务以使更改生效。具体步骤取决于你的Hadoop安装方式和集群管理工具。如果你使用的是Apache Ambari或其他集群管理工具,可以参照相应的文档进行操作。