客户案例：工业OT 域数据最佳实践

作者：张为，阿里云全球技术服务部

一、 传统维度建模的方案介绍

数仓建设中常用的方式是维度建模，其核心是将原表分为事实表和维度表。然后采用星型模型或者雪花模型进行数据建模。星型模型，是一种非常简单常用的模型，事实表直接和多个维度表相连，维度表之间无连接。雪花模型，事实表与多个维度表相连，维度表之间有连接。

阿里内部在维度建模理论基础上，对数据的分层分域、维度一致性、事实表设计、原子指标/派生指标的定义及设计等做了细化定义，同时定义了一套标准的从设计到开发的实施流程。

1. 维度建模工作流程

维度建模工作的实施流程如下图所示。

• 需求调研：分为自底向上和自顶向下两种，自底向上是从现有的业务系统入手，从业务上分析数据域、业务过程，了解数据需求。自顶向下是和实际报表使用人员了解需求，依据报表SQL 反向推导所需的数据源及指标信息。

• 数据域划分：对数仓建设涉及的数据类别进行划分，一般可以按照行业标准或者业务系统功能模块来划分。

• 指标设计：构建总线矩阵，梳理原子指标及派生指标清单，以及原子指标的溯源、派生指标的计算逻辑等。

• 数据建模：构建一致性维度，构建一致性度量及指标，分层设计DWD/DWS/DIM/ADS 模型。

• 数据开发：物理表创建，数据业务逻辑SQL 开发。

• 任务运维：数据开发任务运维。

从工作流程可以看出，维度建模的任务链路是比较长的，同时其工作量和指标规模基本成正比。涉及的指标量越多，调研、设计、开发的工作成比例的增加。

2. 维度建模使用场景及特点

维度建模广泛应用于IT 域数仓建设的场景中，该类场景的特点是原始数据来源于业务系统各功能模块，数据可以很自然的分为维度表和事实表，同时挂载到类似业务板块、业务过程这种概念上，通过统一的一套方法论即可对不同的场景、不同的数据源完成建模设计。虽然使用的建模方法论和流程是相同的，但是对于不同的指标设计是不同的，即当增加一个场景的指标时，需求调研、指标设计、模型设计、开发运维这个过程需要完整的走一遍，因此项目的实施工作量和指标数量基本成正比关系。

《全链路数据治理-智能数据建模 》——客户案例：工业OT 域数据最佳实践(2) https://developer.aliyun.com/article/1230884?groupCode=tech_library