因此会有很多并行、串行dag等任务的编排。

简介: q

在Step步骤中,可以通过不同的标识来控制串行、并行。

“--”代表和上一步串行 ;

“–”代表和上一步并行。

如上图所示,我们可以看出,hello1与hello2a串行,hello2a与hello2b并行。

命令行运行结果

UI显示结果
我们的Argo Workflow编排样例

在实际过程中,由于业务形态种类多样,因此会有很多并行、串行dag等任务的编排。

其中包含根据上一步运行结果的不同来运行不同的后续步骤的编排,也有根据不同的外部业务调用不同API生成不同的步骤的编排。

监控工作流关心的指标

从监控的角度来看,主要有以下几个指标需要重点关注:

每个工作流的运行耗时;

工作流中失败的步骤

l工作流运行总数;

集群资源以及工作流资源消耗情况等。
————————————————

相关文章
|
8月前
|
Shell 开发工具 数据安全/隐私保护
构建作业
构建作业
45 1
|
分布式计算
188 DAG的生成
188 DAG的生成
51 0
|
消息中间件 SQL 监控
ETL的灵魂:调度系统
ETL的灵魂:调度系统
2610 1
|
运维 监控 Java
分布式任务处理:XXL-JOB分布式任务调度框架(一)
分布式任务处理:XXL-JOB分布式任务调度框架
345 0
|
Java 调度 Maven
分布式任务处理:XXL-JOB分布式任务调度框架(二)
分布式任务处理:XXL-JOB分布式任务调度框架
322 0
|
缓存 算法 Java
分布式任务处理:XXL-JOB分布式任务调度框架(三)
分布式任务处理:XXL-JOB分布式任务调度框架
864 0
|
分布式计算 前端开发 Go
如何优雅地实现并发编排任务
如何优雅地实现并发编排任务
95 0
如何优雅地实现并发编排任务
|
调度
第9章:工作流调度框架Oozie
第9章:工作流调度框架Oozie
247 0
|
分布式计算 监控 搜索推荐
【Airflow】工作流自动化和调度系统
2014年,Airbnb创造了一套工作流调度系统:Airflow。Airflow是灵活可扩展的工作流自动化和调度系统 。2019年成为Apache的顶级项目。它可以让程序员通过编程实现:编写、调度、监控工作流,主要针对有大量数据进行传递的场景,不适合解决流式任务(如spark streaming和Flink)。
1073 0
【Airflow】工作流自动化和调度系统