kettle开发篇-作业

简介: kettle开发篇-作业

前言:


昨天我们讲了java脚本,我们通过java脚本执行了类似JavaScript脚本获取日期年、月、日的处理。今天我们来讲kettle中的一个大项-作业来结束2022年kettle教程的编写,2023年我会继续坚持每日更新。


一、作业


大多数ETL项目都需要完成各种各样的维护工作。 例如,如何传送文件;验证数据库表是否存在,等等。而这些操作都是按照一定顺序完成。因为转换以并行方式执行,就需要一个可以串行执行的作业来处理这些操作。


一个作业包含一个或多个作业项,这些作业项以某种顺序来执行。作业执行顺序由作业项之间的跳(job hop)和每个作业项的执行结果来决定。如下图所示的作业,我们从START开始,传送数据,当我们传送数据成功后我们就加载维度表,但当我们传送数据失败后,我们就会发送错误邮件并结束这个作业。同样的加载维度表成功后,我们继续执行加载事实表。

作业项的介绍图下图所示,即作业的基本构成部分。

作业跳是作业项之间的连接线,有三种不同的状态,一个为无条件执行,一个是当结果为True的时候才执行,一个是当结果为False的执行才执行。


二、任务


为了方便大家理解,我们可以执行一个作业案例,从Excel读取数据,保存到Excel,再从文本文件中读取数据保存到Excel,如果产生错误就发送邮件,并且停止作业,如果成功发送成功邮件。

最终我们的作业包括转换1和转换2及对应成功和失败后的处理操作,如成功后发送邮件,错误后发送错误邮件,并终止作业。其中转换1为从Excel读取数据输出至Excel,转换2从文本文件读取数据并输出至Excel。

运行转换后,我们从日志中就可以看到整个作业的执行流程。

相关文章
|
6月前
kettle开发篇-空操作
kettle开发篇-空操作
117 0
|
6月前
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
402 0
|
6月前
|
数据采集 Oracle 关系型数据库
kettle开发-循环驱动作业
kettle开发-循环驱动作业
184 0
|
分布式计算 资源调度 监控
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
|
5月前
|
SQL Java API
实时计算 Flink版产品使用问题之如何在本地运行和调试包含VVR DataStream连接器的作业
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
监控 Java 数据库连接
kettle开发-远程执行作业
kettle开发-远程执行作业
260 0
|
Oracle Java 关系型数据库
Kettle 常见问题解决方案
JDK版本大于1.8时非常不稳定,表现在无法新建连接DB数据库,会出现无响应。
|
SQL JavaScript 前端开发
大数据 ETL 处理工具 Kettle 完成一个作业任务
简单一句话,作业流程,即是对转换流程进行调度,也可以嵌套转换流程和作业流程。
|
数据库连接 数据库 关系型数据库
ETL工具 kettle
Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettl
9459 0
|
存储 关系型数据库 流计算
实时计算Flink > 快速入门 —— 步骤三:数据开发,作业上线
本页目录 新建作业 开发储存 用RDS为数据的维表或结果表 编写业务逻辑的SQL 作业调试StreamSQL 作业上线 说明: 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者,多人协作模型必须使用主子账号完成。
2358 0