Apache Oozie-- 实战操作--集成 hue- 定时调度配置|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 Apache Oozie-- 实战操作--集成 hue- 定时调度配置

开发者学堂课程【Oozie 知识精讲与实战演练Apache Oozie-- 实战操作--集成  hue- 定时调度配置】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/716/detail/12795


Apache Oozie-- 实战操作--集成 hue- 定时调度配置


内容介绍:

一、利用 Hue 配置定时调度任务的具体操作

二、如何查看配置调度任务的正确性

三、查找任务配置执行的地方

四、利用 Hue 配置定时调度任务的好处

五、Workflow,Schedule,Bundle 之间的关系


一、利用 Hue 配置定时调度任务的具体操作

在 oozie中,普通的 Workflow 并不能满足于周期的定期执行,因此需要一个协调执行者叫做 coordinator在 Hue 当中与 oozie 整合之后也同样可以配置定时调度任务,操作如下:

1、打开浏览器,点击 Query 下面的 Scheduler ,不再选择 Workflow。原因: Workflow 是一个普通的工作流需要手动提交。

图片1.png

2、选择 Scheduler,打开之后为 Scheduler 的相关编辑页面,首先可以为调度任务命名,单击 My Schedule, 例如选择叫做 hue Schedule,此任务便是通过 hue 来调度的。下边的描述根据自己的需求而定,可写可不写。

3、选择需要调度的工作流,点击选择按钮后显示出当下 Hue,Oozie 中已经保存好的工作流。

图片2.png

4、要想对一个工作流进行调度,必须先将工作流编辑好。以 hue shell 为例,开启一个定时调度任务,定制周期 How often(多久一次)的操作如下 ,点击  How often 下面的选项 Options,点击进去里边有非常重要的 Timezone 时区,当下无论是 Hue 还是 Oozie 的配置中都要选择 Asia/Shangha i东八区,时区一定要正确,涉及到时间定时执行,差几个时区是非常严重的。选择好之后会有两个时间——开始时间和结束时间。开始时间一定要未来时间,不能选择过去时间,比如选择开始时间为14:46,选择好之后下边有结束时间。设置好之后可以选择多长时间进行一次,可以是每一天每一周等,时间可以随便选择,例如可以让任务每小时执行一次,如果选择1那么就是在0,1执行,如果都不选择那么就是all,即每分钟执行一次。这个时候进行相关的选择会非常方便,鼠标点点就可以完成,不需要写相关的表达式。这样就是从下午的2:46开始,每分钟执行一次。如果有参数可以选择参数,修改好时区、开始时间、结束时间以及参数后点击 save 保存,保存之后便可将设好的工作流点击 Submit 提交。

图片3.png

5、提交的时间可以做一个相关的验证,点击 Schedules 可以看到配置的调度任务 hue Schedule,此任务现在的状态为 Running (跑)。当满足时间,任务执行时,点击 jobs ,然后点击刷新,便可以查看任务在 Running 的执行效果。打开 Schedules 里面有相关的信息,包括 Tasks(任务)、Logs(日志)、Properties(配置参数)、XML(文件属性)。其中 Tasks 很重要里面例举出了接下来任务执行需要进行的时间段。

图片4.png 

二、如何查看配置调度任务的正确性

1、处于 waiting 状态说明没有执行,没有满足时间。到达时间后,状态立即变成running,即到了时间触发。出现 succeeded,则证明任务成功。

2、如果任务执行错误,点击任务进去之后查看具体的相关执行日志Logs,Properties,XML 查找问题。

三、这样就完成了相关的配置,就会满足通过 hue 和 oozie 整合去提交定时调度任务。


三、验证任务配置执行的结果

来到 node-1服务器上查看并没有输出日志,在这时有一个小技巧来查看执行的程序在哪里,首先在历史日志服务器中输入 node-1:19888 显示出执行完的相关日志的排码情况。随便点进去一个,点击 Map 便可出来相关的日志,运行在 node-3 这台机器上,来到 node-3 服务器上克隆一个新的会画,可以看出多了一个 hellohue.txt,在这里就是相关的时间,就完成了一个相关的执行。这便是所学的利用 hue 和 oozie 整合之后去配置定时调度任务。

图片5.png

 

四、利用 Hue 配置定时调度任务的好处

极大方便了使用者去编写各种定时频率的时间的表达式


五、Workflow,Schedule,Bundle 之间的关系

除了可以用 Workflow 调度之外还可以创建 Bundle,即一个批示可以创建多个调度。当点击 Bundle 之后,选择 coordinator,看到这里可以看出 Workflow,Schedule,Bundle 之间的关系。关系如下:

1、workflow 普通的工作流

2、schedule 针对 workflow 做一个定时

3、Bundle 为 schedule 做一个批处理。

例如有两个定时调度任务,一个是1:00执行的,一个是在1:20执行的,需要在一个批示进行处理,那么创立一个 Bundle 绑定两个 schedule 便可以搞定。这样利用 hue 和 oozie  整合之后进行任务调度将会极大的方便,在企业中也很少手动的去编写 oozie 的配置文件,通过 hue 会极大地方便开发。

图片6.png 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
157 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
2月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
102 5
|
7天前
|
存储 JavaScript 开发工具
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
本次的.HarmonyOS Next ,ArkTS语言,HarmonyOS的元服务和DevEco Studio 开发工具,为开发者提供了构建现代化、轻量化、高性能应用的便捷方式。这些技术和工具将帮助开发者更好地适应未来的智能设备和服务提供方式。
30 8
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
|
2月前
|
消息中间件 Java Kafka
什么是Apache Kafka?如何将其与Spring Boot集成?
什么是Apache Kafka?如何将其与Spring Boot集成?
72 5
|
2月前
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
57 1
|
3月前
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
51 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
3月前
|
缓存 前端开发 应用服务中间件
CORS跨域+Nginx配置、Apache配置
CORS跨域+Nginx配置、Apache配置
272 7
|
3月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
57 3
|
3月前
|
Dart Android开发
鸿蒙Flutter实战:03-鸿蒙Flutter开发中集成Webview
本文介绍了在OpenHarmony平台上集成WebView的两种方法:一是使用第三方库`flutter_inappwebview`,通过配置pubspec.lock文件实现;二是编写原生ArkTS代码,自定义PlatformView,涉及创建入口能力、注册视图工厂、处理方法调用及页面构建等步骤。
80 0
|
23天前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
312 33
The Past, Present and Future of Apache Flink

热门文章

最新文章

相关实验场景

更多

推荐镜像

更多