kettle开发篇-作业

简介: kettle开发篇-作业

前言:


昨天我们讲了java脚本,我们通过java脚本执行了类似JavaScript脚本获取日期年、月、日的处理。今天我们来讲kettle中的一个大项-作业来结束2022年kettle教程的编写,2023年我会继续坚持每日更新。


一、作业


大多数ETL项目都需要完成各种各样的维护工作。 例如,如何传送文件;验证数据库表是否存在,等等。而这些操作都是按照一定顺序完成。因为转换以并行方式执行,就需要一个可以串行执行的作业来处理这些操作。


一个作业包含一个或多个作业项,这些作业项以某种顺序来执行。作业执行顺序由作业项之间的跳(job hop)和每个作业项的执行结果来决定。如下图所示的作业,我们从START开始,传送数据,当我们传送数据成功后我们就加载维度表,但当我们传送数据失败后,我们就会发送错误邮件并结束这个作业。同样的加载维度表成功后,我们继续执行加载事实表。

作业项的介绍图下图所示,即作业的基本构成部分。

作业跳是作业项之间的连接线,有三种不同的状态,一个为无条件执行,一个是当结果为True的时候才执行,一个是当结果为False的执行才执行。


二、任务


为了方便大家理解,我们可以执行一个作业案例,从Excel读取数据,保存到Excel,再从文本文件中读取数据保存到Excel,如果产生错误就发送邮件,并且停止作业,如果成功发送成功邮件。

最终我们的作业包括转换1和转换2及对应成功和失败后的处理操作,如成功后发送邮件,错误后发送错误邮件,并终止作业。其中转换1为从Excel读取数据输出至Excel,转换2从文本文件读取数据并输出至Excel。

运行转换后,我们从日志中就可以看到整个作业的执行流程。

相关文章
|
7月前
|
Shell 开发工具 数据安全/隐私保护
构建作业
构建作业
41 1
|
7月前
kettle开发篇-空操作
kettle开发篇-空操作
132 0
|
7月前
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
480 0
|
分布式计算 资源调度 监控
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
|
7月前
|
监控 Java 数据库连接
kettle开发-远程执行作业
kettle开发-远程执行作业
304 0
|
Oracle Java 关系型数据库
Kettle 常见问题解决方案
JDK版本大于1.8时非常不稳定,表现在无法新建连接DB数据库,会出现无响应。
|
数据库连接 数据库 关系型数据库
ETL工具 kettle
Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettl
9520 0
|
存储 关系型数据库 MySQL
阿里云开源离线同步工具DataX3.0介绍
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
105670 10
|
数据采集 Java Unix
|
存储 关系型数据库 流计算
实时计算Flink > 快速入门 —— 步骤三:数据开发,作业上线
本页目录 新建作业 开发储存 用RDS为数据的维表或结果表 编写业务逻辑的SQL 作业调试StreamSQL 作业上线 说明: 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者,多人协作模型必须使用主子账号完成。
2367 0