Hadoop学习笔记(四) HadoopYarn

1.配置
配置文件(一)
yarn-env.sh
配置文件(二)
yarn-site.xml

<configuration>
<!--指定YARN的ResourceManager的地址-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--指定YARN的ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
    </property>
<!--暂时忽略-->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

配置文件(三)
mapred-env.sh 配置JAVA_HOME

配置文件(四)
mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

2.启动集群
(1) 启动前必须保证NameNode和DataNode已经启动;
(2) 启动ResourceManager

 yarn --daemon.sh  start resourcemanager

(3) 启动NodeManager

 yarn --daemon.sh  start nodemanager

附上： yarn --daemon stop resourcemanager

   yarn --daemon stop nodemanager

3、查看后台
ip地址：8088

运行wordcount案例后

4 。历史服务器
vi etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>

<!--历史服务器web端地址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

启动历史服务器
mr-jobhistory-daemon.sh start historyserver
或者 mapred --daemon stop historyserver

1. 日志聚集 yarn-site.xml

      <name>yarn.log-aggregation-enable</name>
      <value>true</value>

      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>

   
   需要关闭resourcemanager、nodemanager、historyserver

记录mapreduce任务运行报错 “错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster”
解决办法

<property>
    <name>yarn.application.classpath</name>
    <value>使用命令hadoop classpath 获取到对应的路径并粘贴到这里</value>
</property>