0x00 教程内容
- JobHistory介绍
- 背景演示
- 实验步骤
0x01 JobHistory介绍
1. 作用
a. 记录已经运行完的MaprReduce作业信息到HDFS的目录上（默认是不开启的）
0x02 背景演示
1. 执行MapReduce作业
a. 参考文章：MapReduce入门例子之单词计数的代码
b. 执行MapReduce作业：
yarn jar hadoop-learning-1.0.jar com.shaonaiyi.hadoop.WordCount hdfs://master:9999/files/put.txt hdfs://master:9999/output/wc/
2. YARN界面查看
a. 打开Web UI界面
http://master:8088
b. 点击RUNNING、FINISHED
RUNNING：在执行的时候可以看到作业，执行完之后只能在FINISHED里面看到。
3. 查看YARN作业的日志
a. 当作业跑完之后，进入FINISHED，点击作业的History，会发现无法访问，这就是我们需要解决的问题：
0x03 实验步骤
1. 配置JobHistory
a. 修改配置文件（$HADOOP_HOME/etc/hadoop/mapred-site.xml）：
进入操作文件目录：
cd $HADOOP_HOME/etc/hadoop/
vi mapred-site.xml
<property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> <description>MapReduce JobHistory Server IPC host:port</description> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> <description>MapReduce JobHistory Server Web UI host:port</description> </property> <property> <name>mapreduce.jobhistory.done-dir</name> <value>/history/done</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>/history/done_intermediate</value> </property>
b. 添加配置（$HADOOP_HOME/etc/hadoop/yarn-site.xml）：
<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
c. 同步配置文件到slave1、slave2：
scp mapred-site.xml yarn-site.xml hadoop-sny@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/
scp mapred-site.xml yarn-site.xml hadoop-sny@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/
2. 启动JobHistory
a. 重启YARN（master上执行）
stop-yarn.sh
start-yarn.sh
a. 启动JobHistory（master上执行）
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
b. 查看master进程，发现JobHistory的进程已经存在了：
jps
3. 校验JobHistory
a. 重新提交作业，等待运行完，点击FINISHED里面作业的History，进入界面后可在下面两个链接找到日志入口logs：
b. 同样，在配置的文件目录下也可以看到生成了文件：
hadoop fs -ls /history
一直点进去可以看到有两种文件：
该目录下将存在3个文件，分别是以“.jhist”、和“.xml”结尾的文件，分别表示作业运行日志和作业配置属性
0xFF 总结
- 停止JobHistory的history-server的命令为：
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver - 配置有多种方式，我这里提供的是我总结的比较好的方式。
