DataWorks明细粒度事实层(DWD)明细粒度事实层(DWD)规范是什么?
明细粒度事实层(DWD)在DataWorks中,是以业务过程为驱动进行建模的。它依赖于具体的业务过程特性来构建最细粒度的明细层事实表。这种粒度的设计允许对业务过程有更深入的理解和分析。同时,企业可以根据自身的数据使用特点,对明细事实表的某些重要维度属性字段进行适当的冗余处理,即宽表化处理。
值得注意的是,明细粒度事实层(DWD)和公共汇总粒度事实层(DWS)的事实表作为数据仓库维度建模的核心,需要紧密围绕业务过程进行展开。同时,数仓分层的目的并不仅仅是为了分层,更重要的是解决ETL任务及工作流的组织、数据的流向、读写权限的控制、不同需求的满足等各类问题。
阿里云DataWorks提供了明细粒度事实层(DWD)功能,用于将业务数据按照明细粒度进行存储和处理。明细粒度事实层(DWD)规范是一种数据管理和处理规范,可以帮助你更好地管理和组织数据,并提高数据处理的效率和准确性。
明细粒度事实层(DWD)规范主要包括以下几个方面:
通常您需要遵照的命名规范为:dwd{业务板块/pub}{数据域缩写}{业务过程缩写}[{自定义表命名标签缩写}] _{单分区增量全量标识},pub表示数据包括多个业务板块的数据。单分区增量全量标识通常为:i表示增量,f表示全量。例如: dwd_asale_trd_ordcrt_trip_di(A电商公司航旅机票订单下单事实表,日刷新增量)及dwd_asale_itm_item_df(A电商商品快照事实表,日刷新全量)。本教程中,DWD层主要由三个表构成:交易商品信息事实表:dwd_asale_trd_itm_di。交易会员信息事实表:ods_asale_trd_mbr_di。交易订单信息事实表:dwd_asale_trd_ord_di。DWD层数据存储及生命周期管理规范请参见CDM明细层设计规范。
https://help.aliyun.com/document_detail/154250.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,明细粒度事实层(DWD)是数仓分层管理中的一种层次,主要用于存放业务细节数据,用于满足业务特定需求的数据。DWD的规范通常包括以下几个方面:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。