《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)

简介: 《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)

《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2) https://developer.aliyun.com/article/1230832?groupCode=tech_library



四、 指标需求确认


参考业务流程调研结果和总线矩阵,确定出可以产出的指标以及指标衍生维度。比如,对于汽车生产流程下的各个动作步骤可以产生的一些指标如下:

image.png

业务动作下产生的指标示例


1. 规范制定


1) 命名规范


在进行模型设计之前,需要约定好数仓各个层级表的命名规范。一方面统一的规范命名可以帮助我们提高开发效率,见名知义;一方面可以避免重复开发,减少资源浪费。


常见的一个表的命名要结合所在数仓层级、涉及到的业务模块、业务动作过程、以及更新方式和时间周期组合生成。在此项目中我们用到的命名规则如下:

image.png

表命名规范


2) 更新规范


更新分为全量更新和增量更新。一般来说,在离线计算采用每天新增一个分区,将当天新更新的数据写入该分区中。考虑到此客户的资源较建行和数据量较大,我们决定采用增量更新写入,再在下游用全量合并成当天全量表的方式来存储,这样可以节省存储资源,缩短数据同步时间。


3) 度量标准


为指标制定统一的度量,避免因为度量体系不一致导致后期数据质量问题,为使用者带来困扰。此项目中涉及到的实体与度量的关系如下:

image.png

实体与度量关系


4) 词典


词典与命名规范和度量息息相关,在描述统一实体时统一规范我们的措辞,可以帮助我们提升沟通效率。

image.png

词典




《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4) https://developer.aliyun.com/article/1230830?groupCode=tech_library

相关文章
|
新零售 数据采集 分布式计算
6000字干货分享:数据中台项目管理实践分享
本文总结了企业级数据中台项目的实践经验,希望能够为正在规划或者已在实施数据中台类项目的企业和个人提供经验。
6000字干货分享:数据中台项目管理实践分享
|
6月前
|
人工智能 编解码 自然语言处理
构建AI智能体:八、AI新纪元:ModelScope魔法 — 本地搭建超酷的图片处理模型
ModelScope是由阿里巴巴达摩院推出的AI模型托管与服务平台,被称作AI模型的Github。它汇集了自然语言处理、计算机视觉、语音识别等领域的数千个高质量预训练模型,大幅降低了AI应用开发门槛。平台提供简化的Pipeline API,只需几行代码即可调用模型,并支持模型微调。与通义千问等单一AI产品不同,ModelScope是一个开放的模型生态系统,覆盖更广泛的应用场景。通过实际案例展示了其在人像卡通化、抠图、天空替换等方面的应用效果。
1173 2
|
存储 SQL 分布式计算
maxcompute是什么
【5月更文挑战第5天】maxcompute是什么
576 6
|
存储 分布式计算 算法
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
611 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
461 0
|
数据可视化 搜索推荐 数据挖掘
数据可视化系列-06数据分析工具QuickBI
数据可视化系列-06数据分析工具QuickBI
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
637 0
|
数据建模 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
566 0
|
存储 架构师 搜索推荐
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
912 0
|
数据建模
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
651 0
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)

热门文章

最新文章