《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1) https://developer.aliyun.com/article/1230771?groupCode=tech_library



二、 问题分析


1. 问题汇总


以下这副图是简化后的数据模型,我们可以发现存在很多不规范问题影响了模型的稳定性。业务在快速发展的情况下,为了快速响应业务需求,产生模型问题是必然的。日常工作中,数据研发流程大致如下,接到业务需求,直接引用ODS 层表开发ADS 数据,待数据需要复用的时候就把逻辑沉淀到公共层,同理指标也会有类似情况。


image.png


主要问题可以归纳为七点:


• 系统临时表多,只增不删,对于消费侧影响较大,因为表量巨大,有效比例低,很难检索到。

• 命名不规范。

• 公共层过度设计。

• ADS 重复建设。

• ADS 跨集市依赖。

• ADS 共性未下沉。

• ADS 穿透依赖ODS。


2. 原因分析


从问题分类上看,主要有三大类问题:规范性问题,公共层复用性问题和应用层复用性问题。

从问题原因上看,主要有四大类原因:架构规范,流程机制,产品工具,以及研发能力。


image.png


3. 模型治理的问题


image.png


模型治理的挑战:


• 业务价值不明显,治理带来的是长期价值,短期对业务影响不大。

• 治理协作复杂,治理需要ODS、CDM、ADS 层多人多团队协作。

• 问题治理难根治,容易出现新模型依赖有问题模型。

• 模型平均生命周期不长(25 个月)。


综上所述,模型治理的ROI 比较低,我们的问题就是如何模型治理才最高效?



《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3) https://developer.aliyun.com/article/1230768?groupCode=tech_library


相关文章
|
机器学习/深度学习 存储 并行计算
ModelScope问题之训练报错设置参数如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
221 0
正则表达式高级用法
正则表达式是强大的文本匹配工具,常用于搜索、匹配和验证字符串。高级用法包括:捕获组(区分需要提取的内容)、非捕获组(减少开销)、零宽断言(定位匹配位置)、反向引用(匹配相同内容)、嵌入代码(实现复杂逻辑)、贪婪与非贪婪匹配(控制匹配范围)和递归匹配(处理嵌套结构)。了解这些高级技巧能提升字符串操作效率。示例展示了验证Email、电话号码、提取URL和清理多余空格的正则表达式应用。
|
前端开发
Google Earth Engine(GEE)——如何加载ee.FeatureCollection中点数据在MAP中
Google Earth Engine(GEE)——如何加载ee.FeatureCollection中点数据在MAP中
797 0
Google Earth Engine(GEE)——如何加载ee.FeatureCollection中点数据在MAP中
|
存储 BI 关系型数据库
数仓学习---数仓开发之DWS层
数仓学习---数仓开发之DWS层
1484 4
|
安全 网络协议 API
探析HTTP 和 HTTPS:你需要知道的区别
网络安全问题正变得日益重要,而 HTTP 与 HTTPS 对用户数据的保护十分关键。本文将深入探讨这两种协议的特点、工作原理,以及保证数据安全的 HTTPS 为何变得至关重要。
|
NoSQL MongoDB
搭建MongoDB分片式集群
搭建MongoDB分片式集群
304 0
|
SQL 分布式计算 Java
实战 | Hive 数据倾斜问题定位排查及解决 (一)
Hive 数据倾斜怎么发现,怎么定位,怎么解决
861 0
实战 | Hive 数据倾斜问题定位排查及解决 (一)
|
机器学习/深度学习 SQL 人工智能
ID-Mapping在心动公司探索实践
文 / 蔡圣哲 王沛 戴健 范建文 王兵鹏
ID-Mapping在心动公司探索实践
|
DataWorks 数据可视化 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
260 0
|
存储 运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
303 0