Argo Workflow简单样例——dag

简介: q

什么是Argo Workflow

Argo Workflow是一个开源项目,为Kubernetes提供Container-native工作流程,主要通过Kubernetes CRD实现。它有四大特点:

容器云原生:工作流的每一步都是一个容器,可以通过环境变量注入配置;

建模:将多步骤工作流建模为一系列任务,或者使用有向无环图(DAG)描述任务之间的依赖关系;

易调度:可以在短时间内轻松运行用于机器学习或数据处理的计算密集型作业;

配置简单:在Kubernetes上运行CI/CD Pipeline,无需复杂的软件配置。

云原生工作流种类多样,为什么要选择Argo Workflow呢?

Airflow虽然是老牌任务管理、调度、监控,但存在语言强绑定以及过于依赖Python的缺点。

K8s原生Workflow的使用简单直接,但灵活度过差。

Apache Dolphin Scheduler的界面十分友好,任务定制简单,但API不友好,模板编排不灵活。

Argo Workflow与云原生结合紧密,专注于编排并行任务,容器编排灵活,并且模板编排支持模块化,能够有效提高调度效率。

Argo Workflow简单样例
Argo Workflow简单样例——dag

在编排过程中,首先定义一个echo模板,将模板的输入参数message直接打印到控制台。

其中,dag编排任务过程中最关键的部分是通过dependencies进行依赖。上图中的依赖关系为:B依赖A、C依赖A、D依赖B与C,故任务的执行顺序十分明朗:A先执行,随后B与C同时执行,最后执行D。
————————————————

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
存储 安全 开发工具
oss加密存储
阿里云OSS为数据安全提供多种加密机制,包括服务器端的SSE-S3(AES-256透明加密)、SSE-C(用户管理密钥)和CSE-KMS(结合KMS进行密钥管理)。此外,OSS支持客户端加密SDK和HTTPS传输加密,确保数据在传输和存储时的安全。通过ACL、Bucket策略和访问密钥身份验证,实现权限控制与身份验证,全方位保障用户数据的安全性和隐私。用户可按需选择适合的加密方式。
927 2
|
分布式计算 Hadoop 大数据
大数据平台搭建(容器环境)——Flume1.9 安装配置
大数据平台搭建(容器环境)——Flume1.9 安装配置
大数据平台搭建(容器环境)——Flume1.9 安装配置
|
6月前
|
人工智能 JSON 测试技术
AI 驱动 API 研发提效:解析 Apipost 在 API 文档生成场景的全流程能力
随着AI和大模型技术发展,软件开发步入智能化时代。API研发作为核心环节,高效调试与文档编写至关重要。Apipost是国内领先的API协同工具,提供从API设计到性能测试的完整闭环,支持AI驱动的文档生成、Markdown润色及OpenAPI生成等功能,显著提升团队效率。其AI功能可一键补全参数描述、生成示例代码与响应样例,减少重复劳动,助力开发者专注于业务逻辑优化。无论是快速迭代还是大规模接口设计,Apipost都为高效协作提供了强大支持。
320 0
|
人工智能 自然语言处理 安全
通义千问 2.5 “客串” ChatGPT4,看这篇让你分清楚
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
88674 14
|
JavaScript Java 测试技术
从零开始:Nexus私服搭建与Maven仓库配置的完全指南
从零开始:Nexus私服搭建与Maven仓库配置的完全指南
23119 7
|
监控 Ubuntu Linux
htop工具使用
`htop` 是Linux的增强型系统监视工具,提供彩色界面和更多交互功能,如键盘导航、进程筛选和实时资源图表。要安装,Debian/Ubuntu用`apt-get install htop`,Red Hat/CentOS用`yum install htop`,Fedora/RHEL 8+用`dnf install htop`,Arch Linux用`pacman -S htop`。启动后,可按F6排序进程,F9管理进程,F5调整刷新率,且支持搜索和自定义显示设置。是一款提升系统管理效率的利器。
411 1
|
XML 测试技术 数据库
深入理解自动化测试中的数据驱动方法
【5月更文挑战第29天】 在现代软件测试实践中,自动化不仅提升了效率,也提出了更高要求。数据驱动测试(DDT)作为一种高效的自动化测试策略,通过分离测试逻辑和测试数据,增强了测试案例的可维护性和可扩展性。本文将详细探讨数据驱动方法的原理、实施步骤以及面临的挑战,并展示如何利用Python和Selenium框架实现一个基本的数据驱动测试实例,以期为读者提供一种提升自动化测试效率和灵活性的有效途径。
IDEA的安装与删除插件
IDEA的安装与删除插件
355 1
|
数据采集 机器学习/深度学习 算法
Python实现LightGBM回归模型(LGBMRegressor算法)项目实战
Python实现LightGBM回归模型(LGBMRegressor算法)项目实战
|
SQL 域名解析 弹性计算
新用户购买云服务器之后,后续设置远程密码、安全组及挂载数据盘教程
对于很多新手用户来说,初次购买阿里云服务器通常都是通过阿里云的各个活动去购买,而通过阿里云活动购买云服务器时,默认是没有云服务器远程连接密码和数据盘的,这些需要我们在开通之后,再设置远程密码并购买和挂载数据盘,在使用过程中为了保障云服务器的安全与项目的正常运行,我们还需要关闭和开启一些云服务器端口,对于很多新手用户来说,由于是第一次使用阿里云服务器,可能并不是很清楚具体的设置流程,本文为大家介绍一下新用户购买云服务器之后,后续设置远程密码、安全组及挂载数据盘的教程,以供参考。
新用户购买云服务器之后,后续设置远程密码、安全组及挂载数据盘教程