开发者学堂课程【新电商大数据平台2020最新课程:电商项目之 AzKaban 案例(2.X 案例2)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/640/detail/10509
电商项目之 AzKaban 案例(2.X 案例2)
内容介绍
一、建立依赖关系
二、工作调度
一、建立依赖关系
案例是通过任务的依赖,这种依赖是第一个任务和第二个任务是有一个关系,只有当第一个任务执行完之后才能执行第二个任务。创建第一个文档,文件名为 foo.job 。
然后创建第二个文档,文件名为 bar.job 。
想要两个文件形成依赖关系,则需要进行配置。依次点击两个文件,然后在 foo.job文件第一行输入 type=command ,第二行输入 command=echo “Hello 123”;在 bar.job 文件第一行输入 type=command ,第三行输入 command=echo “Hello 456”,要想两者联系起来,在第二行输入 dependencies=foo ,然后对两个文件进行保存。
退回计算机首页对两个文件进行压缩,然后压缩包名称进行更改,命名为 dep.zip 。然后上传文件,进入 Azkaban Test 首页,在 personal 右侧点击 Azkban Test 会弹出 Login 页面,分别在一二行输入 admin 后点击下方 Login 。
点击 upload ,找到压缩包并打开,形成浏览模式,再点击 Upload 就上传了。点击 Execute Flow 可看到两个形成的依赖关系, foo 在前,bar 在后。
再点击 Execute 和 Continue 按钮,执行即完成。
二、工作调度
工作流在调度时,可以调度或使用 sdys 的命令,使用 sdys 命令需要写绝对例子不要些相对例子,还可以执行其他命令。
可以进行尝试,创建一个新的文件,名称为 hdfs.job ,打开文件,在第一行输入
type=command ,
第二行输入
command=/usr/local/hadoop-267.6/bin/haddoop fs-mkdir/Azkban ,进行保存。
注意:要对其进行检查。
然后进行压缩 形成一个压缩包,然后上传。打开 Azkban Test ,点击右上角 Upload 找到压缩包,打开文件,再点击 Upload 。点击 Execute Flow 和 Continue 开始执行。
在右上角可看到 End Time ,这里没有结束时间,可以选择点击 kill 除去它。
每一个执行时都需要时间,有时需要等待,如果想要查看是否执行成功,在浏览器搜索 node 1:50070/explorer.html#/ 进行查看。因为有时因为网络原因,已经执行成功了,但依然进度条在运作,有延迟现象。
