云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性

本文涉及的产品
对象存储 OSS,20GB 3个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: Argo Workflows是CNCF毕业项目,最受欢迎的云原生工作流引擎,专为Kubernetes上编排批量任务而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。

【阅读原文】戳:云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性

Argo Workflows是CNCF毕业项目,专为Kubernetes上编排并行Job而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。

 

 

 

 

一、Argo Workflows 简介

 

 

 

Argo Workflows是CNCF毕业项目,专为Kubernetes上编排并行Job而设计,将工作流中的每一个任务实现为一个单独的容器实例单独运行,具有轻量级、易扩展、并行性高等特点。

 

Argo Workflows主要被应用在以下的场景:

 

批处理系统:对于需要定期或按需执行的大规模数据处理任务,如ETL作业、数据分析报告生成等,Argo Workflows 提供了一种声明式的方式来定义和执行这些批处理作业。

 

机器学习工作流:在机器学习项目中,Argo Workflows 可以协调数据预处理、模型训练、验证、调参和部署等步骤,同时利用 Kubernetes 的资源调度能力,高效地分配GPU等资源,支持大规模并行计算需求。

 

基础设施自动化:在管理云原生基础设施时,可用于执行一系列自动化任务,比如创建和配置Kubernetes资源、执行备份恢复操作、监控系统的健康状态等。

 

CI/CD:持续集成和持续部署流程通常包含代码构建、测试、部署等多个阶段。Argo Workflows 能够很好地整合这些步骤,实现自动化流水线,提高软件交付的速度和质量。

 

Argo Workflows Use Cases

 

阿里云容器服务是国内早期使用Argo Workflow 的团队之一。在落地生产过程中,解决了大量性能瓶颈,并且开发了较多功能回馈给社区。在v3.6版本中贡献了多项特性,尤其是在核心控制器的易用性和稳定性上,贡献了超大参数自动Offload、模板调度约束、超大扁平工作流并行解析、OSS文件流式传输、OSS Artifacts垃圾回收、Pod并行清理Retry、动态模板引用等众多特性,提升了工作流引擎的稳定性、易用性和性能。

 

本文将会对Argo Workflows 3.6版本的关键新特性做一个深入的解析。

 

 

 

 

二、新特性解析

 

 

 

1)CronWorkflows:调度策略增强

 

CronWorkflows是Argo Workflows最常用的功能之一,您可以使用该功能在自定义时间节点触发任务调度,在v3.6中,有以下几个增强:

 

多个cron scheduler调度:可以在单个CronWorkflow中集成多个定时调度策略来进行工作流调度。

 

增加停止策略:可以设定策略在特定情况下停止调度,可以避免定时工作流持续失败,导致集群中失败工作流积压。

 

When表达式:在每次调度之前检查表达式是否为true,提供了和cron scheduler更灵活的组合机制。

 

该增强方便了用户对调度策略进行组合,实现各种不同的定时调度策略。

 

使用示例:

 

apiVersion: argoproj.io/v1alpha1
kind: CronWorkflow
metadata:
  name: cron-workflow-example
spec:
  schedules: # 多个调度策略,每3分钟和5分钟执行一次,在第15分钟只执行一次。
  - "*/3 * * * *"
  - "*/5 * * * *"
  concurrencyPolicy: "Allow"
  stopStrategy: # 在Faild的工作流超过10个之后停止该Cron Workflow
    condition: "failed >= 10"
  # 通过表达式限制在两次执行间隔超过3600s
  when: "{{= cronworkflow.lastScheduledTime == nil || (now() - cronworkflow.lastScheduledTime).Seconds() > 3600 }}"
  startingDeadlineSeconds: 0
  workflowSpec:
    entrypoint: whalesay
    templates:
    - name: whalesay
      container:
        image: alpine:3.6
        command: [sh, -c]
        args: ["date; sleep 1"]

 

2)用户界面优化

 

Argo UI是工作流重要的组成部分,用户提交工作流之后,可以通过该界面便捷的观测到工作流的运行状况。在3.6中,增加了工作流详细信息、时间显示、输出Artifacts目录、Markdown语法等,于此同时还可以访问Cron Workflow、Workflow Template的执行历史、实时日志等。

 

The UI shows the directory used for input artifacts

 

这些增强完善了用户界面的可用性、可观测性,方便用户能够更好的观测自己的工作流状况。

 

3)Argo Workflows 控制器:大规模、稳定性、安全性、功能增强

 

控制器是Argo Workflows最核心的组件,其稳定性和高性能至关重要。在v3.6中主要有以下的一些增强:

 

大规模、稳定性、安全性增强:

 

归档工作流使用队列,改善了同时归档大量工作流时的内存管理。

 

并行清理Pod,在Retry超大工作流时非常有用,可以在容忍时间内完成Retry。

 

Pod增加Pod Kubernetes finalizer,避免过早删除导致出现"Pod Delete" Error,便于控制器Reconceil。

 

超大扁平工作流并行解析,可以让大型工作流的解析更快。

 

超大参数自动Offload,可以支持更长的启动参数,这对于大型的科学模拟场景很有帮助。

 

自动设置seccomp profile为RuntimeDefault,提高容器安全性,降低被攻击的风险。

 

这些功能会在控制器启动时默认开启,除此之外,还有一些功能上的增强:

 

a. OSS Artifacts 自动回收

 

可以通过配置artifactGC策略使得工作流在完成或者删除的时候回收工作流在阿里云OSS上中间文件结果,从而节省存储成本。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: artifact-gc-
spec:
  entrypoint: main
  artifactGC:
    strategy: OnWorkflowDeletion # the overall strategy, which can be overridden
    podMetadata:
      annotations:
         kubernetes.io/resource-type: eci
  templates:
    - name: main
      container:
        image: argoproj/argosay:v2
        command:
          - sh
          - -c
        args:
          - |
            echo "hello world" > /tmp/on-completion.txt
            echo "hello world" > /tmp/on-deletion.txt
      outputs:
        artifacts:
          - name: on-completion # 该Artifact会在工作流完成时回收
            path: /tmp/on-completion.txt
            oss:
              endpoint: http://oss-cn-zhangjiakou-internal.aliyuncs.com
              bucket: my-argo-workflow
              key: on-completion.txt
              accessKeySecret:
                name: my-argo-workflow-credentials
                key: accessKey
              secretKeySecret:
                name: my-argo-workflow-credentials
                key: secretKey
            artifactGC:
              strategy: OnWorkflowCompletion # overriding the default strategy for this artifact
          - name: on-deletion # 该Artifact会在工作流被删除时回收
            path: /tmp/on-deletion.txt
            oss:
              endpoint: http://oss-cn-zhangjiakou-internal.aliyuncs.com
              bucket: my-argo-workflow
              key: on-deletion.txt
              accessKeySecret:
                name: my-argo-workflow-credentials
                key: accessKey
              secretKeySecret:
                name: my-argo-workflow-credentials
                key: secretKey

 

b. 模板支持调度约束

 

可以在定义模板时增加NodeSelectors和Tolerations,使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: WorkflowTemplate
metadata:
  name: benchmarks
spec:
  entrypoint: main
  serviceAccountName: workflow
  templates:
  - dag:
      tasks:
      - arguments:
          parameters:
          - name: msg
            value: 'hello'
        name: benchmark
        template: benchmark
    name: main
    nodeSelector: # 模版上定义节点选择器,该选择器会传递到Pod上
      pool: workflows
    tolerations:  # 模版上定义容忍,该容忍会传递到Pod上
    - key: pool
      operator: Equal
      value: workflows
  - inputs:
      parameters:
      - name: msg
    name: benchmark
    script:
      command:
      - python
      image: python:latest
      source: |
        print("{{inputs.parameters.msg}}")

 

c. 支持动态模板引用

 

在定义模板引用时,可以直接使用参数,从而极大的优化Yaml编排文件的结构和大小。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: hello-world-wf-global-arg-
  namespace: default
spec:
  entrypoint: whalesay
  arguments:
    parameters:
      - name: global-parameter
        value: hello
  templates:
    - name: whalesay
      steps:
        - - name: hello-world
            templateRef: #  Step 中动态模板引用
              name: '{{item.workflow-template}}' # 从循环中读取需要调用的模板工作流
              template: '{{item.template-name}}' # 从循环中读取template名称
            withItems: # 定义循环参数
                - { workflow-template: 'hello-world-template-global-arg', template-name: 'hello-world'}
          - name: hello-world-dag
            template: diamond
    - name: diamond
      dag:
        tasks:
        - name: A
          templateRef: # DAG 中动态模板引用
            name: '{{item.workflow-template}}' # 从循环中读取需要调用的模板工作流
            template: '{{item.template-name}}' # 从循环中读取template名称
          withItems:
              - { workflow-template: 'hello-world-template-global-arg', template-name: 'hello-world'}

 

d. 更新expr库,支持多种函数。

 

可以使用更多的表达式函数,比如列表拼接和字符串合并。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: test-expression-
  namespace: argo
spec:
  entrypoint: main
  arguments:
    parameters:
      - name: expr 
        value: "{{= concat(['a', 'b'], ['c', 'd']) | join('\\n') }}" # 使用列表拼接和字符串合并函数
  templates:
    - name: main
      inputs:
        parameters:
          - name: expr
      script:
        image: alpine:3.6
        command: ["sh"]
        source: |
          echo result: '{{ inputs.parameters.expr }}'

 

4)Argo CLI:模板易用性

 

Argo CLI是提交工作流最常用的方式,而模板是我们定义标准流程的方法,方便我们定义各种各样不同的模板,在v3.6对模板的易用性做了以下的一些增强:

 

通过Argo CLI可以直接更新工作流模板,这让我们在模板在更新时更加容易,避免使用Kubectl方法,下边是使用方法:

 

argo cron update FILE1 # 更新定时工作流
argo template update FILE1  # 更新 workflow-template
argo cluster-template update FILE1 # 更新 cluster-workflow-template

 

通过label过滤模板,有助于对模板进行分类管理:

 

argo template list -l app=test # 通过label进行过滤

 

 

 

 

 

三、快速使用Argo Workflows

 

 

 

Argo Workflows作为一款云原生的批量任务编排引擎,是在Kubernetes上编排各类型任务、提高业务自动化水平的必备利器,无论您是企业的架构师、数据科学家、还是Devops工程师,都能使用Argo Workflows提高您的工作效率。

 

阿里云容器服务也提供了全托管的Serverless Argo Workflows:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

 

 

具有以下几个特点:

 

简单易用:托管核心组件,完全免运维,提供RestAPI和 Python SDK, 集成简单。

 

稳定高性能:控制面优化,支持大规模工作流编排,整体规模可达到4w。

 

产品化支持:众多领域最佳实践,构建高效工作流,用户只需关注业务创新。

 

可以帮助您快速体验提交工作流,欢迎加入钉钉交流群35688562一同交流。

 

 

参考文档:

 

[1]《Argo Workflows 3.6 发布候选者版本》

 

[2] Argo Workflows:

 

https://github.com/argoproj/argo-workflows

 

[3] Serverless Argo Workflows:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

 

[4] 最佳实践:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/best-practices



我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信微博知乎

获取关于我们的更多信息~

相关文章
|
21天前
|
编译器 C# 开发者
C# 9.0 新特性解析
C# 9.0 是微软在2020年11月随.NET 5.0发布的重大更新,带来了一系列新特性和改进,如记录类型、初始化器增强、顶级语句、模式匹配增强、目标类型的新表达式、属性模式和空值处理操作符等,旨在提升开发效率和代码可读性。本文将详细介绍这些新特性,并提供代码示例和常见问题解答。
34 7
C# 9.0 新特性解析
|
18天前
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
|
20天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
20天前
|
C# 开发者
C# 10.0 新特性解析
C# 10.0 在性能、可读性和开发效率方面进行了多项增强。本文介绍了文件范围的命名空间、记录结构体、只读结构体、局部函数的递归优化、改进的模式匹配和 lambda 表达式等新特性,并通过代码示例帮助理解这些特性。
30 2
|
21天前
|
运维 Kubernetes Cloud Native
Kubernetes云原生架构深度解析与实践指南####
本文深入探讨了Kubernetes作为领先的云原生应用编排平台,其设计理念、核心组件及高级特性。通过剖析Kubernetes的工作原理,结合具体案例分析,为读者呈现如何在实际项目中高效部署、管理和扩展容器化应用的策略与技巧。文章还涵盖了服务发现、负载均衡、配置管理、自动化伸缩等关键议题,旨在帮助开发者和运维人员掌握利用Kubernetes构建健壮、可伸缩的云原生生态系统的能力。 ####
|
23天前
|
PHP 开发者
PHP 7新特性深度解析及其最佳实践
【10月更文挑战第31天】本文将深入探讨PHP 7带来的革新,从性能提升到语法改进,再到错误处理机制的变革。我们将通过实际代码示例,展示如何高效利用这些新特性来编写更加健壮和高效的PHP应用。无论你是PHP新手还是资深开发者,这篇文章都将为你打开一扇窗,让你看到PHP 7的强大之处。
|
23天前
|
安全 编译器 PHP
PHP 8新特性解析与实践应用####
————探索PHP 8的创新功能及其在现代Web开发中的实际应用
|
25天前
|
前端开发 JavaScript
JavaScript新纪元:ES6+特性深度解析与实战应用
【10月更文挑战第29天】本文深入解析ES6+的核心特性,包括箭头函数、模板字符串、解构赋值、Promise、模块化和类等,结合实战应用,展示如何利用这些新特性编写更加高效和优雅的代码。
42 0
|
15天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
45 2
|
2月前
|
缓存 Java 程序员
Map - LinkedHashSet&Map源码解析
Map - LinkedHashSet&Map源码解析
70 0