集成 Oozie 服务&调度 Shell 程序 | 学习笔记

简介: 快速学习 集成 Oozie 服务&调度 Shell 程序

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&调度 Shell 程序学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12853


集成 Oozie 服务&调度 Shell 程序


内容介绍

一、修改配置文件

二、调度页面操作展示

 

一、修改配置文件

hue Oozie 整合,Oozie 作为一款调度软件本身的开发是不太有好的,不管是调动 hue 程序还是 MI 程序都要调用大量的配置文件,然后做上传提交,才可完成调动执行,相当麻烦,但是 Oozie hue 结合形成非常好的关系,在hue 上通过相关鼠标的拖拽各种图标。即可完成定时调度

接下来实际操作

1.首先打开 hue 的配置文件,需要修改三个地方

第一为 liboozie,搜索选项,复制打开 not 叠加,选择连接 hue 的编辑文件中,进行查找下一个,此时定位到选项配置的地方在1409行,此时修改参数,第一个 oozie-url,启动完成后,通过地址告知,此地址,为之前访问 oozie 的外部 ui 页面,把之前的注释打开,修改端口,=http://node-1:11000/oozie

image.png

下面为 remort-deployement-dir=一个选择部署时的文件路径,当上传定时 lud 时,资源配置路径在 HDFS 上,以往公司均会定制资源路径,比如路径:user/root/oozie-works,所以所有调度均放在该路径上,做一个指定,将前面注释打开即可完成,界面如下:

image.png

2.oozie 的配置文件,里面为某些优化配置文件,搜索 oozie,注意,此时带有 oozie 的很多,需要找出带有字符号的 oozie

带有注释:Settings on local FS where the examples are stored ,下面为选项,重点观察标红,实际上已经存在配置,只是没有打开,比如说是否进行定时调度或者 false 集成等等,只需将注释打开即可,进行保存,操作即可完成,这些均是优化的选项。

image.png

3. 【fliebrowser】即为开启文件浏览,实际上与 hue 关系不大

存在打开文件的按钮 Buttun,其实 hue 要去访问时,并无这些按钮,但是配置完成后会显示相关按钮,需要进行相关本地配置,比如说;开发了 hive 的脚本需要本地的调度,打开 hue 即可上传,非常方便

打开选项,进行搜索,首先 fliebrowser,ctrl c 浏览 打开注释,进行修改,字符展示修改的按钮,false 改为 true,字符显示上传的按钮 false 改为 true,最后一个,是不是允许 upload 的一个 archive 当换,改为 true,即全部完成

进行保存,与远程服务器同步数据,接下来为页面操作


二、页面操作展示

首先启动 hue 与 ozie 进程,先启动 oozie 进程,因为配置的环境微量 oozie 的 start 回车启动,完成后,将 oozie 服务进行重启,因为修改了配置进程,返回启动进程,结束,完成后,再使用刚才的命令重新启动,回车,等待启动日志结果出现,没有问题出现即可完成,进入相关界面,打开浏览器,针对 hive 刷新观察配置生效,加载完成后,发现整个调度的入口在 scheduler ,点击发现带有三个选项

Workflow 为普通工作流,schedule 为定时调度,Bundle 为批处理,可以批示绑定 schedule。

image.png

workfoll 为例,点击发现界面友好,因为各种 id 节点均配置成鼠标,所支持的脚本,都可以选择,通过鼠标往下拖即可,比如说开始节点和结束节点以及术外节点,可以进行各种各样的配置,比如说哪里判断,不需要进行编写workflow 配置文件,首先需要执行 hive 脚本,在进行选择,执行 crecal 脚本,即可完成

1.hue 调度 shell 脚本的方法

首先创建 shell,点击 flie 去浏览文件,即可来到路径上,在 root/urser 上创建新的文件夹,叫做 oozie-hue,点击进去创建新文件 hello-huesh,此时为空文件,点击 edit file 进行编辑,采用并加解释器,#/bin/bash

Date/root 简单并加到文件 hello -hue sh 当中

编辑完成后,进行保存,shell 脚本即可完成,在本地进行编辑

image.png

2.创建工作流

首先点击 query 下方的 scheduler 点击 workfllow,命名 hue shell

开始执行 shell,鼠标按住往下拖,此时添加 shell 脚本的路径,点击在 user/root/oozie-works/oozie-hu 双击文件,添加路径,注意 FILES 必须告诉相关路径的位置,选择刚才的文件不然的话找不到相关文件,两个文件均选择完成后点击保存,保存完成后即可发现左边出现 Sumbit 按钮,此时工作流编辑完成,点击 sumbit 即可提交

,此时出现错误,无需处理对运行没有任何影响。

image.png

此时出现界面,点击刷新,发现 hueshell 结束,但是点击 workfollow 会发现它失败了,点击 logs tasks 执行日志观察失败原因,

显示原因:file does not exist 文件不存在,提示说找不到路径 user/root/oozie-worksuser/root/oozie-works 此时发现针对路径进行了嵌套,需要对工作流进行修改。

image.png

首先点击 query 下方的 scheduler 点击 workfllow,在三个点的按钮会点 workflows,其中保存了以前设定的工作流。

image.png

双击打开,并点击笔的图标,进行相关调整点击 settings 中的 workspace 对报出的信息嵌套做出修改,只需将路径返回至根目录即可,进行保存,提交执行,观察结果。

image.png

Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序

可在 properties 中观察所有的具体的配置相关事务

此外 XML 为开始节点到结束节点打印的信息,其中的在工作的流程路径下的信息。

image.png

以上为所有 hue 调度 shell 脚本流程,注意路径配置清楚

相关文章
|
8月前
|
人工智能 API 开发工具
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
GitHub MCP Server是基于Model Context Protocol的服务器工具,提供与GitHub API的无缝集成,支持自动化处理问题、Pull Request和仓库管理等功能。
1689 2
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
1071 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
279 9
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
671 0
|
Shell 关系型数据库 MySQL
|
Shell Linux 关系型数据库
|
3月前
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了,把它们写进Shell脚本,就能一键搞定。脚本本质上就是个存着一堆命令的文本文件,但要让它“活”起来,有几个关键点:文件开头最好用#!/usr/bin/env bash来指定解释器,并用chmod +x给它执行权限。执行时也有讲究:./script.sh是在一个新“房间”(子Shell)里跑,不影响你;而source script.sh是在当前“房间”里跑,适合用来加载环境变量和配置文件。
461 9
|
3月前
|
存储 Shell Linux
八、Linux Shell 脚本:变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西(赋值)时,=两边千万不能有空格。用单引号''装进去的东西会原封不动,用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”(Shell进程)用,想让隔壁房间(子进程)也能看到,就得给箱子盖个export的“出口”戳。此外,Shell还自带了$?(上条命令的成绩单)和$1(别人递进来的第一个包裹)等许多特殊箱子,非常有用。
374 2
|
6月前
|
Shell
Shell脚本循环控制:shift、continue、break、exit指令
使用这些命令可以让你的Shell脚本像有生命一样动起来。正确使用它们,你的脚本就能像一场精心编排的舞蹈剧目,既有旋律的起伏,也有节奏的跳跃,最终以一场惊艳的表演结束。每一个动作、每一个转折点,都准确、优雅地完成所需要表达的逻辑。如此,你的脚本不只是冰冷的代码,它透过终端的界面,跳着有节奏的舞蹈,走进观众——使用者的心中。
291 60