《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)

《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2) https://developer.aliyun.com/article/1230832?groupCode=tech_library



四、 指标需求确认


参考业务流程调研结果和总线矩阵,确定出可以产出的指标以及指标衍生维度。比如,对于汽车生产流程下的各个动作步骤可以产生的一些指标如下:

image.png

业务动作下产生的指标示例


1. 规范制定


1) 命名规范


在进行模型设计之前,需要约定好数仓各个层级表的命名规范。一方面统一的规范命名可以帮助我们提高开发效率,见名知义;一方面可以避免重复开发,减少资源浪费。


常见的一个表的命名要结合所在数仓层级、涉及到的业务模块、业务动作过程、以及更新方式和时间周期组合生成。在此项目中我们用到的命名规则如下:

image.png

表命名规范


2) 更新规范


更新分为全量更新和增量更新。一般来说,在离线计算采用每天新增一个分区,将当天新更新的数据写入该分区中。考虑到此客户的资源较建行和数据量较大,我们决定采用增量更新写入,再在下游用全量合并成当天全量表的方式来存储,这样可以节省存储资源,缩短数据同步时间。


3) 度量标准


为指标制定统一的度量,避免因为度量体系不一致导致后期数据质量问题,为使用者带来困扰。此项目中涉及到的实体与度量的关系如下:

image.png

实体与度量关系


4) 词典


词典与命名规范和度量息息相关,在描述统一实体时统一规范我们的措辞,可以帮助我们提升沟通效率。

image.png

词典




《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4) https://developer.aliyun.com/article/1230830?groupCode=tech_library

相关文章
|
存储 SQL 分布式计算
19章构建企业级大数据平台:从架构设计到数据治理的完整链路
开源社区: 贡献者路径:从提交Issue到成为Committer 会议演讲:通过DataWorks Summit提升影响力 标准制定: 白皮书撰写:通过DAMA数据治理框架认证 专利布局:通过架构设计专利构建技术壁垒
|
人工智能 数据可视化 数据挖掘
解读:精益生产管理的目的是什么?如何操作?
2分钟了解精益生产管理的目的和操作流程!
355 1
解读:精益生产管理的目的是什么?如何操作?
|
测试技术 持续交付
探索自动化测试在软件质量保证中的关键作用
本文深入探讨了自动化测试在现代软件开发生命周期中的重要性,以及它是如何成为确保软件产品质量的不可或缺的一环。通过分析自动化测试的优势、挑战和最佳实践,本文旨在为读者提供对自动化测试全面而深刻的理解,从而帮助他们在实际工作中更有效地应用自动化测试策略。
254 2
|
机器学习/深度学习 数据采集 人工智能
揭秘AI的魔法:机器学习如何改变我们的世界
【10月更文挑战第22天】在这篇文章中,我们将深入探讨机器学习的奥秘,揭示它是如何在我们的日常生活中扮演着越来越重要的角色。从简单的数据分类到复杂的预测模型,机器学习的应用已经渗透到各个领域。我们将通过实例和代码示例,展示机器学习的基本概念、工作原理以及它如何改变我们的生活。无论你是科技爱好者还是对AI充满好奇的初学者,这篇文章都将为你打开一扇通往未来的大门。
|
存储 SQL 分布式计算
maxcompute是什么
【5月更文挑战第5天】maxcompute是什么
638 6
|
存储 监控 安全
Java基于物联网技术的智慧工地云管理平台源码 依托丰富的设备接口标准库,快速接入工地现场各类型设备
围绕施工安全、质量管理主线,通过物联感知设备全周期、全覆盖实时监测,将管理动作前置,实现从事后被动补救到事前主动预防的转变。例如塔吊运行监测,超重预警,升降机、高支模等机械设备危险监控等,通过安全关键指标设定,全面掌握现场安全情况,防患于未然。
482 5
|
存储 资源调度 算法
m基于FPGA和IP核的RS编译码verilog实现,包含testbench测试文件
m基于FPGA和IP核的RS编译码verilog实现,包含testbench测试文件
567 1
|
存储 分布式计算 算法
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
694 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
531 0