DataWorks2.0的“业务流程”与1.0的“工作流”的对比

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧。因为,没法再创建新的旧版工作流了。。。新版抛弃了“工作流”这个概念,引入了“业务流程”和“解决方案”两个新的概念。于是,作为团队Leader,我花了很大的精力去钻研这两个概念到底该如何应用在我的实际业务中。

DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧。因为,没法再创建新的旧版工作流了。。。
新版抛弃了“工作流”这个概念,引入了“业务流程”“解决方案”两个新的概念。于是,作为团队Leader,我花了很大的精力去钻研这两个概念到底该如何应用在我的实际业务中。

1.目的

能尽快应用DataWorks2.0的诸多给力新功能;
尽快解决掉由于无法新建旧版工作流引起的不便;

2.旧版工作流划分

任务节点一般分为以下几类:

  • 源数据同步节点
  • 单业务基础数据层统计节点
  • 跨业务基础数据层统计节点
  • 结果数据层统计节点
  • 结果数据同步节点

2.1 划分维度

旧版本的工作流,主要包含以下几个维度:

2.1.1 源数据库

  • 数据源是在哪个数据库中
  • 包括:源数据同步节点

2.1.2 产品线

  • 源数据属于哪个产品线
  • 包括:源数据同步节点 + 单业务基础数据层统计节点

2.1.3 目标系统

  • 结果数据是给哪个系统提供的(后台系统、BI、DataV、……)
  • 包括:结果数据层统计节点 + 结果数据同步节点

2.1.4 业务模块

  • 结果数据属于哪个业务模块(订单+投诉、订单+保险、商家+订单、……)
  • 包括:跨业务基础数据层统计节点 + 结果数据层统计节点 + 结果数据同步节点

2.1.5 运行周期

  • 每日、每周、每月运行
  • 包括:所有节点

2.1.6 输入/统计/输出

  • 包含的节点的类型,是属于“源数据迁入”、“统计任务”还是“结果数据迁出”
  • 包括:所有节点

2.2 其他划分原则

  1. 尽量减少每个工作流所依赖的上游工作流的个数;
  2. 能用一句话给整个工作流起个名字;
  3. 每个工作流内的节点数量不超过30个;

3. 旧版工作流与新版业务流程的区别

3.1 运行周期

  • 旧版工作流:
    整个工作流(包含多个内部节点),对应一个运行周期
  • 新版业务流程:
    每个节点,对应一个运行周期

3.2 依赖关系

  • 旧版工作流:

    1. 工作流依赖工作流;
    2. 内部节点依赖内部节点;
  • 新版业务流程:

    1. 业务流程之间,无依赖关系;
    2. 节点依赖节点,可以跨业务流程依赖,可以不同运行周期的任务间依赖。

3.3 节点的分类

  • 旧版工作流:
    无分类,只能通过内部节点的命名来区分
  • 新版业务流程:
    可以自动按节点类型分类(SQL节点、数据同步节点、机器学习节点、……)

3.4 工作流(业务流程)的分类

  • 旧版工作流:
    无分类,只能通过工作流的命名来区分
  • 新版业务流程:
    可以通过“解决方案”功能来分类(类似于给每个业务流程打标签),“业务流程”与“解决方案”是“多对多”的关系。

3.5 提交范围

  • 旧版工作流:
    整个工作流(包含多个内部节点)一起提交
  • 新版业务流程:
    单个任务节点提交。也支持业务流程中多个节点批量提交的方式。

3.6 重命名

  • 旧版工作流:

    1. 工作流不支持重命名;
    2. 内部节点不支持重命名;
  • 新版业务流程:

    1. 业务流程支持重命名;
    2. 节点支持重命名;

3.7 添加文件夹的位置

  • 旧版工作流:
    多级文件夹→工作流→内部节点
  • 新版业务流程:
    业务流程→数据集成/数据开发→多级文件夹→节点

4. 业务流程划分原则

最后,关于我的业务流程的划分原则,总结如下:

  1. 业务流程是完成一个最小业务的;
  2. 业务流程的数量可以稍微多一点儿,可以通过解决方案去查找;
  3. 每个业务流程里的节点最好不要太多,每个业务流程里能直观展示的就只有那么多;

希望大家也能早日用上DataWorks2.0的诸多给力功能!不用继续在旧版工作流中缝缝补补。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
1月前
|
分布式计算 DataWorks 算法
DataWorks产品使用合集之手动业务流程提交后是否会自动执行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
DataWorks 安全 API
DataWorks产品使用合集之用API创建的补数据工作流,怎样才能获知工作流的运行状态
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
146 0
|
3月前
|
存储 DataWorks Oracle
DataWorks产品使用合集之如何查看今日的公共调度资源组使用的实例数量
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之如何复制工作空间里的业务流程
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
机器学习/深度学习 分布式计算 DataWorks
DataWorks产品使用合集之创建的UDF在业务流程中没有生效,但单独执行脚本是成功的,该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之整个业务流程如何复制出来
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之任务工作流中遇到了日志信息显示参数值没有正确解析的问题,该如何处理
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之多个业务流程上传同名资源到同一个OSS(对象存储服务)URL,会产生什么问题
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之如何控制周期业务流程的并发执行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
35 1
|
2月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之如何通过接口单独触发业务流程里面的某些节点运行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。