DataWorks一个业务流程是一个指标的实现(从ods -> ... ->ads),还是一层里单个表的实现(比如dwd_下单事实表)?
DataWorks中的业务流程是对数据从源到目标的完整处理过程的描述,而不仅仅是一个指标或单个表的实现。例如,它可能包括从ods到ads的各个层次的数据转换和清洗操作。在DataWorks中,可以创建周期业务流程和手动业务流程两种类型的任务,以满足不同的调度需求。
同时,DataWorks也支持对业务流程进行详细的配置和管理。例如,可以在数仓规划页面的左侧导航栏中,单击公共层 > 业务过程,进入业务过程页面,创建和编辑业务过程,配置各项参数。此外,还可以在业务流程中创建节点并配置依赖关系,以便更深入地分析和计算工作空间的数据。
因此,总的来说,DataWorks中的一个业务流程是对整个数据处理过程的描述,而不仅仅是单个表或指标的实现。这种设计使得DataWorks能够更好地满足复杂的数据处理和分析需求。
在DataWorks中,一个业务流程可能涵盖多个功能节点,这些节点之间的依赖关系会形成一个网络结构,称为血缘关系。这种结构可以是一个指标的实现,如从ods到ads的全过程,也可以是一层里单个表的实现,比如dwd_下单事实表。
具体来说,DataWorks提供了周期业务流程和手动业务流程两种。这两种业务流程都可以在数据开发(DataStudio)中开发对应的开发任务,然后提交到运维中心实现在生产环境运行。业务过程是企业在指定的数据域中所执行的业务活动,是数据建模所需要分析的逻辑主体。例如,交易域中可以有加入购物车、下单、支付等业务过程。
因此,根据业务需求,您可以将同类型的业务统一放置到一个业务流程中,无论是整个指标的实现,还是单个表的操作。这样,无论您正在处理的是复杂的业务场景还是简单的数据任务,DataWorks都能为您提供灵活、方便的数据开发和管理工具。
在DataWorks中,一个业务流程可以是一个指标的实现,也可以是一个表的实现。具体取决于业务需求和设计。如果一个指标的实现需要多个数据源和多个操作,那么它可能需要多个业务流程来实现。如果一个表的实现只需要一个数据源和一个操作,那么它可能只需要一个业务流程来实现。
在DataWorks中,一个业务流程通常是一个指标的实现,而非单个表的实现。业务流程是DataWorks中的一个核心概念,用于表示数据处理的整个过程,包括数据源连接、数据清洗、数据转换、数据存储等步骤。业务流程通常用于实现复杂的数据处理任务,例如从ODS源到ADS源的数据同步、数据报表生成等。
一个业务流程通常由多个步骤组成,每个步骤可以对应一个或多个数据处理任务。例如,一个业务流程可能包括从ODS源获取数据、清洗数据、转换数据、存储数据等多个步骤。每个步骤都对应一个或多个数据处理任务,例如从ODS源获取数据的任务可能包括连接ODS源、查询ODS数据等任务。
因此,DataWorks的一个业务流程通常是一个指标的实现,而非单个表的实现。业务流程用于实现复杂的数据处理任务,包括从ODS源到ADS源的数据同步、数据报表生成等。
一个工作空间可以支持多种类型的计算引擎,也可以包含多个业务流程,一个业务流程是多种类型对象的集合,对象的类型包括数据集成、MaxCompute、Hologres、EMR等引擎节点(例如MaxCompute的SQL节点、MaxCompute表节点)。
每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下,支持继续创建子文件夹。为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能说明您规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将相关的业务流程收纳到一个解决方案中进行管理,提升工作效率。
https://help.aliyun.com/zh/dataworks/user-guide/create-a-workflow?spm=a2c4g.11186623.0.i118
周期业务流程与手动业务流程
DataWorks提供了周期业务流程和手动业务流程两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景,这两类业务流程均可以在数据开发(DataStudio)中开发对应的开发任务,然后提交到运维中心实现在生产环境运行,对比区分如下。
可以把业务流程按应用层主题域划分,实现多个派生指标的产出 https://help.aliyun.com/zh/dataworks/use-cases/data-development-2?spm=a2c4g.11186623.0.0.4a7b2225FUMNjh
https://help.aliyun.com/zh/dataworks/getting-started/data-modeling-for-the-retail-and-e-commerce-industries?spm=a2c4g.11186623.0.0.2bae3ce2zCkxe4,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,业务流程可以从不同的层面来设计和实现。一般来说,业务流程是指整个数据处理过程中各个阶段的顺序和逻辑,而单个表属于某一个具体的数据处理阶段。
因此,您可以将整个数据处理过程划分为多个层级,例如ODS(原始数据层)、DWD(数据仓库层)、ADS(应用数据层)等。每个层级可以包含多张表,用于处理和存储不同层级的数据。在业务流程中,您需要按照各个层级之间的顺序和逻辑来配置节点,以便实现整个数据处理流程。
举例来说,假设您需要实现一个电商网站的订单处理流程,那么可能包含的几个层级和表如下:
在业务流程中,您可以按照以上各个层级的顺序和逻辑配置节点,例如从ODS层级的原始数据表开始,通过ETL转换、清洗、聚合等操作,逐步将数据导入到DWD和ADS层级的相关表中。通过这种方式,您可以实现整个订单处理流程的自动化、高效和可靠。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。