开发者学堂课程【Oozie 知识精讲与实战演练：Apache Oozie一实战操作一调度 shell 脚本】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/716/detail/12787
Apache Oozie一实战操作一调度 shell 脚本
内容介绍
一、Oozie 调度 shell 脚本
一、Oozie 调度 shell 脚本
1、根据官方自带示例准备配置模板，根据配置模板和情况做一些相关修改。比如具体参数具体路径在哪里。把配置文件连同 shell 脚本一起上传到指定的工作路径下。
cd /export/servers/oozie-4.1.0-cdh5.14.0
cp -r examples/apps/shell/ oozie_works/ 把文件夹及所有同时拷贝到这个文件当中。
把shell的任务模板拷贝到 oozie 指定的工作目录当中去，涉及到配置文件的修改，所以一定要细心。
首先准备一下配置模板，在官方自带的 examples 当中有 shell 脚本调用的相关示例。
[root@node-1oozie-4.1.0-cdh5.14.0]#11oozie_works/she11/
total 8
-rw-r--r--. 1 root root 971 Jun 8 20:30 job.properties
-rw-r--r--. 1 root root 2075 Jun 820:30workf1ow.xm]
[root@node-1oozie-4.1.0-cdh5.14.0]#
workf1ow.xm 是工作流的核心配置文件，里面有相关的流程和节点信息，另外一个就是任务的相关属性信息，提交程序的地点和路径等。
2.准备待调度的 shell 脚本文件
针对 oozie 来说，只关心 shell 能不能执行，如果不能执行，那就是 shell 程序书写问题。
注意:这个脚本一定要是在 oozie 工作路径下的shell 路径下的位置，也就是说和workf1ow.xm 和 job.properties 属于同一级数据。
cd /export/servers/oozie-4.1.0-cdh5.14.0
vim oozie_works/shell/hello.sh
直接输出 helloworld，追踪到 export/servers/hello oozietxt
#!/bin/bash
echo"helloworld">>/export/servers/hello oozietxt
将以上步骤复制并执行，保存后CD到 oozie works 当中对两个配置文件进行相关的编写，一个是在 oozie_works/she11/
[root@node-1 she11]# 11 total 12
-rw-r--r--. 1 root root 66 Jun 8 20:32 he1lo.sh
-rw-r--r--. 1 root root 971 Jun 8 20:30 job.properties
-rw-r--r--. 1 root root 2075 Jun 8 20:30 workf1ow.xm]
[root@node-1 she11]#
3.修改配置模板
这里只要去指定 oozie 任务节点相关信息，属性，路径等，通过对 oozie 的学习知道，首先启动时会有一个 m 码程序，通过 m 码程序再去提交各种后续任务。
修改 job.properties
cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/shell
vim job.properties
nameNode=hdfs://node-1:8020（这里要保持一致）
jobTracker=node-1:8032
queueName=default
examplesRoot=oozie works
ooziewfapplicationpath=${nameNode}/user/${username)/${examplesRoot}/shell
EXEC=hello.sh
指定 NameNode，端口是8020，
Job Tracker: 在hadoop2 当中，jobTracker 这种角色已经没有了，只有 Resource Manager，这里给定 resourceManager 的 IP 及端口即可，端口默认8032。
queueName: 提交 mr 任务的队列名;
examplesRoot: 指定 oozie 的工作目录;
oozie.wf.application.path:工 作流应用的路径，oozies 首先执行 mr 程序，mr 执行任务资源在此路径下，需要把本地的文件上传到这个路径当中。使用变量引用方式获取很多值。nameNode 是访问的地址，根目录下是 user/${username)，参数为 oozies works 保持一致。
EXEC: 指定执行任务的名称。
以上是外围的相关信息并不能描绘出 oozie 工作流的流程。以下是整个工作流的核心，在 workflow.xml，当中是各种控制节点和动作节点。
4.修改 workflow.xml
开始节点：
地址：
${jobTracker}
${nameNode}
mapred.job.queue.name
${queueName
地址是通过$引用变量的形式提取到配置的值，很重要
执行脚本：${EXEC}
文件路径：/user/root/oozie_works/ shell/${EXEC}#${EXEC}
成功：
失败：
${wf:actionData(shell-node)[my_output']eqHello Oozie'}
信息：Shell action failed, error
message[${wf:errorMessage(wf:lastErrorNode())}]
Incorrect output,expected [Hello Oozie]but was[${wfactionData(shell node')[my_output']}]
当中的任何细节执行出错的话都会导致执行失败。
Shell action failed 提示失败。
这样就完成了工作流的核心与配置，将以上代码进行核对并修改。第一种可以回到node 中使用编辑器进行修改，第二种可以进行 notepad 远程修改文件。
打开 notepad++，使用 NPPFTP 方式连接到机器上，然后点击刷新，在刷新下有一个叫做 Ooziework，点进去是刚才拷贝的文件，首先修改这个叫job.properties。
nameNode=hdfs://node-1:9000（要跟你的机型保持一致）
查看配置是可以去查看hdoop.pwd来查看，在hdoop文件当中有个core-site.xm1，这里面就指定了机器的属性
jobTracker=node-1:8032
queueName=default
examplesRoot=oozie_worksoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
EXEC=hello.sh
这样就完成了第一个配置文件的编写。
同样使用远程编辑形式修改workflow.xml，主要修改一下部分，其他地方不用动
任务名称：echo
路径：my_output=Hello Oozie
更改成
${EXEC}
/user/root/oozie_works/shell/${EXEC}#${EXEC}
一个是他执行的任务名称，一个是他执行的路径，这两个缺一不可，因为他知道他要干什么，也知道执行的东西在哪里。
执行结束之后直接跳转到end节点，error到失败节点，其他东西如果有需要自己添加，无需要保存即可。
这样就完成了workfollow的流程
5.上传调度任务到hdfs
这个路径刚好是之前配置的路径${nameNode}/user/${username/${examplesRoot}/shell
注意:上传的hdfs目录为/user/root，因为hadoop启动的时候使用的是root
用户，如果hadoop启动的是其他用户，那么就上传到/user/其他用户
cd /export/servers/oozie-4.1.0-cdh5.14.0
hdfs dfs -put oozie_works//user/root
复制之后一定要验证文件对不对，上传好后如下图：
6.执行调度任务
通过oozie的命令来执行调度任务
指定服务器地址，指定配置文件位于的路径
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie I job o-oozie http://node-1:11000/oozie -config oozie_works/shell/job.properties -run
复制后进行简单的修改，就可以完成任务的提交
从监控界面可以看到任务执行成功了。
[root@node-1 oozie-4.1.0-cdh5.14.0]# bin/oozie job -oozie http://node-1:11000/oozie -config oozie_works/she11/job
job:0000000-190608181008722-00zie-root-W
[root@node-oozie-4.1.0-cdh5.14.0]#
这里就会显示出来工作流执行，显示状态是成功的，打开端口node-1.8088
这时候就可以发现有个m码程序，这个m码程序就是oozie执行的m码程序。首先强调一下oozie启动的时候首先会启动没有rdtas的m码程序，通过m码程序去执行任务的调度
打开jobhistory进行刷新，会发现刚才提交的任务程序。
点任务编号进去就可以看到里面执行的相关逻辑，点击map，就可以看到他是在那台机器上运行的了，可以看到最终结果文件是在node-1。
Cd到/export/servers/hello_oozie.txt，会发现多了个文件hello_oozie.txt，文件内容去cat一下，整个就是hello_oozie.txt
7.小记：
oozie调度流程
l 根据官方自带的示例编写配置文件
job.properties workflow.xml
l 把任务配置信息连同依赖的资源一起上传到hdfs指定的路径 这个路径在配置中有
l 利用oozie的命令进行提交
