《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)

简介: 《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)

《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3) https://developer.aliyun.com/article/1230831?groupCode=tech_library



2. 模型设计


层级设计:共分为ODS 层、DWD 层、DWS 层、ADS 层。其中DIM 层、DWD 层与DWS 层也可被统一称为CDM 层。每一层的定位和用途各不相同。


1) 数据引入层ODS(Operation Data Store)

存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute 的职责,同时记录基础数据的历史变化。


我们的ODS 层本次共接入了上千张表。分别来源于IOT 系统和生产系统,有少量来源于离线的文件。同时,我们在传统的ODS 分层内,划分了两层,最底层为初始化全量,每天增量更新的贴源层,在它的下一层,我们做了全量清洗合并,存储每天的全量数据。


2) 数据公共层CDM(Common Data Model,又称通用数据模型层)


包括DIM 维度表、DWD 和DWS,由ODS 层数据加工而成。主要完成数据加工与整合,建立一致性的维度,构建可复用的面向分析和统计的明细事实表,以及汇总公共粒度的指标。


3) 公共维度层(DIM)


基于维度建模理念思想,建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表,维度和维度逻辑表通常一一对应。


在此项目中,我们共沉淀了10 张以上的维度表,按照不同的车间做区分,分别是工人值班信息,车间空间信息(包含车间、线体与工位的对应关系),车体信息,能耗信息,质检缺陷信息,Andon 告警信息等。由于电池车间内的线体较为特殊,线体之间各自独立,具有不同的生产功能,维度表在使用和设计时和其他车间有所区别。

image.png

维度字段


4) 明细粒度事实层(DWD)


以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。DWD 层在某些情况下会被用来存放原子指标,本次项目中,我们将最细粒度的明细记录数据存放在本层。


比如,涉及到车辆产量的指标,均依赖于车体在经过线体上各个工位的过点信息计算得来。因此,我们设计了一张车辆过点信息明细表,记录每个车间各个车体通过工位点位的明细记录。

image.png

车体过点记录表主要明细



5) 公共汇总粒度事实层(DWS)


以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。此次我们并没有在DWS 层进行大量宽表设计,而是将原子指标以及复合指标存放在DWS 层,从DWD 层引用明细数据进行计算得出结果,为下游的应用层宽表提供公共指标。

image.png

某汽车生产管理汇总表


6) 数据应用层ADS(Application Data Service)


也叫集市层,存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。我们将不同业务方使用的主题宽表存放在这里,由DWS 层的公共指标关联得来。同时,由于使用人员各自涉及的业务表不同,我们还对不同的业务模块人员进行了不同的宽表权限的隔离。

image.png


某汽车生产管理主体宽表




《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5) https://developer.aliyun.com/article/1230829?groupCode=tech_library

相关文章
|
SQL 算法 关系型数据库
深入理解MySQL中的Join算法
在数据库处理中,Join操作是最基本且最重要的操作之一,它能将不同的表连接起来,实现对数据集的更深层次分析。
1666 8
深入理解MySQL中的Join算法
|
6月前
|
人工智能 编解码 自然语言处理
构建AI智能体:八、AI新纪元:ModelScope魔法 — 本地搭建超酷的图片处理模型
ModelScope是由阿里巴巴达摩院推出的AI模型托管与服务平台,被称作AI模型的Github。它汇集了自然语言处理、计算机视觉、语音识别等领域的数千个高质量预训练模型,大幅降低了AI应用开发门槛。平台提供简化的Pipeline API,只需几行代码即可调用模型,并支持模型微调。与通义千问等单一AI产品不同,ModelScope是一个开放的模型生态系统,覆盖更广泛的应用场景。通过实际案例展示了其在人像卡通化、抠图、天空替换等方面的应用效果。
1173 2
|
存储 SQL 分布式计算
maxcompute是什么
【5月更文挑战第5天】maxcompute是什么
576 6
|
存储 自然语言处理 数据建模
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)
379 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
637 0
|
SQL Oracle 关系型数据库
Oracle临时表详解
Oracle临时表详解
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
461 0
|
DataWorks 数据建模 BI
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(5)
326 0
|
存储 架构师 搜索推荐
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
912 0
|
数据建模 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
566 0

热门文章

最新文章