集成 Oozie 服务&调度 Hive 脚本 | 学习笔记

简介: 快速学习 集成 Oozie 服务&调度 Hive 脚本

开发者学堂课程【Hue 大数据可视化终端课程集成 Oozie 服务&调度 Hive 脚本学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12854


集成 Oozie 服务&调度 Hive 脚本


内容介绍

一、利用 hue Oozie 调度 hive 脚本

二、脚本工作流的创建流程


一、利用 hue Oozie 调度 hive 脚本

首先准备 hive 脚本,hive 配置界面创建脚本,命名为 hue-hive.sql

此时为空文件,点击打开编辑模式,输入 use default 语句 如果认为使用不便即可打开浏览器进行编辑操作。接下来创建表格 create table t-hue-hive 创建表并添加字段(id int name string):并插入数据,insertinto table 一定要写数据,并在表上进行数据的插入 table t-hue-hive values1 zhangsan”)为第一个同学,下一个进行复制 table t-hue-hive values2 lisi”)。大致解读,调用默认数据库首先创建表格,有两个字段,插入两条数据,保证 cycle 不会出错,完成后点击保存。

image.png


二、脚本工作流的创建流程

接下来创建工作流,首先点击 query 下方的 scheduler 点击 workfllow,命名 hue hive ,点击进行编写,进行托拽。

image.png

此时注意,编写的脚本为图标提示2的图标,对其进行拖拽 hive server2 ,选择 path tothe scipt on Hdfs ,意味脚本位于选择的路径,点击选择路径,如果在其他路径,则进行相关的选择,一定要找到路径在 oozie-hive 下的hive.sql,点击 add,即可添加完成,点击保存,完成后,点击提交,点击刷新,即可显示执行程序,黄色的表示在执行,绿色的表示执行成功,红色的则是执行失败。

image.png

进行刷新,Jobs 显示为所有运行的程序,而 workfllows 为运行工作流调度的程序,完成后,发现成功,验证表是否正确,可通过前方颜色和状态表示是否成功。如果失败,点击观察执行的日志,tasks 会有详细的日志表示失败的原因。

image.png

接下来,来到 hive 进行验证,进行 use default 数据库,进行验证表格,需要保证 cycle 开发时的完整,在后面进行调度则十分方便

查看历史记录,点击 query 下方的 scheduler 点击 workfllowworklows 其中即可保存之前的历史操作记录,点击笔图标即可修改,也可进行添加操作,进入编辑页面后,进行相关编辑,即可添加脚本和路径,在其左右前后都可以进行拖拽功能。以上为编辑流程图

image.png

相关文章
|
8月前
|
人工智能 API 开发工具
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
GitHub MCP Server是基于Model Context Protocol的服务器工具,提供与GitHub API的无缝集成,支持自动化处理问题、Pull Request和仓库管理等功能。
1689 2
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
679 2
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
1071 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
3671 7
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
279 9
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
671 0
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
434 1
|
7月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
286 0