Hadoop配置文件yarn-site.xml

简介: 【7月更文挑战第18天】

image.png
yarn-site.xml 是Apache Hadoop YARN(Yet Another Resource Negotiator)框架中的一个关键配置文件。它包含了YARN服务的配置参数,这些参数控制着资源管理、节点管理和应用程序调度等行为。以下是一些常见的yarn-site.xml配置项及其含义:

<configuration>

  <!-- 指定ResourceManager的地址 -->
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>host.example.com:8032</value>
  </property>

  <!-- 指定ResourceManager的调度器地址 -->
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>host.example.com:8030</value>
  </property>

  <!-- 指定ResourceManager的RPC地址 -->
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>host.example.com:8031</value>
  </property>

  <!-- 指定ResourceManager的Web UI地址 -->
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>host.example.com:8088</value>
  </property>

  <!-- 指定NodeManager的地址 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>localhost:8041</value>
  </property>

  <!-- 指定NodeManager的Web UI地址 -->
  <property>
    <name>yarn.nodemanager.webapp.address</name>
    <value>localhost:8042</value>
  </property>

  <!-- 指定NodeManager的日志目录 -->
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/tmp/hadoop-nm</value>
  </property>

  <!-- 指定NodeManager的日志容器目录 -->
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/tmp/logs</value>
  </property>

  <!-- 指定调度器类型,默认是CapacityScheduler -->
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
  </property>

  <!-- 指定默认队列 -->
  <property>
    <name>yarn.scheduler.capacity.root.default-user-limit-factor</name>
    <value>-1.0</value>
  </property>

  <!-- 最大可用内存MB -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
  </property>

  <!-- 最大可用vCores -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>

</configuration>

请注意,上述示例中的host.example.com需要替换为实际的主机名或IP地址,而localhost通常用于本地测试环境。在生产环境中,你应该使用实际的网络接口地址。

在修改yarn-site.xml后,你可能需要重启YARN服务以使更改生效。具体步骤取决于你的Hadoop安装方式和集群管理工具。如果你使用的是Apache Ambari或其他集群管理工具,可以参照相应的文档进行操作。

目录
相关文章
|
4月前
|
XML Java 数据格式
Spring从入门到入土(xml配置文件的基础使用方式)
本文详细介绍了Spring框架中XML配置文件的使用方法,包括读取配置文件、创建带参数的构造对象、使用工厂方法和静态方法创建对象、对象生命周期管理以及单例和多例模式的测试。
170 7
Spring从入门到入土(xml配置文件的基础使用方式)
|
2月前
|
XML Java 数据格式
使用idea中的Live Templates自定义自动生成Spring所需的XML配置文件格式
本文介绍了在使用Spring框架时,如何通过创建`applicationContext.xml`配置文件来管理对象。首先,在resources目录下新建XML配置文件,并通过IDEA自动生成部分配置。为完善配置,特别是添加AOP支持,可以通过IDEA的Live Templates功能自定义XML模板。具体步骤包括:连续按两次Shift搜索Live Templates,配置模板内容,输入特定前缀(如spring)并按Tab键即可快速生成完整的Spring配置文件。这样可以大大提高开发效率,减少重复工作。
使用idea中的Live Templates自定义自动生成Spring所需的XML配置文件格式
|
4月前
|
XML Java 应用服务中间件
tomcat学习一:tomcat 目录及配置文件学习 server.xml 等
这篇文章是关于Apache Tomcat服务器的目录结构、配置文件(特别是server.xml)的详细介绍和学习指南。
159 0
tomcat学习一:tomcat 目录及配置文件学习 server.xml 等
|
4月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
114 5
|
4月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
51 4
|
4月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
227 5
|
4月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
218 4
|
4月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
137 4
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
138 2
|
4月前
|
XML 前端开发 Java
讲解SSM的xml文件
本文详细介绍了SSM框架中的xml配置文件,包括springMVC.xml和applicationContext.xml,涉及组件扫描、数据源配置、事务管理、MyBatis集成以及Spring MVC的视图解析器配置。
108 1

相关实验场景

更多