《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(2)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(1) https://developer.aliyun.com/article/1230771?groupCode=tech_library



二、 问题分析


1. 问题汇总


以下这副图是简化后的数据模型,我们可以发现存在很多不规范问题影响了模型的稳定性。业务在快速发展的情况下,为了快速响应业务需求,产生模型问题是必然的。日常工作中,数据研发流程大致如下,接到业务需求,直接引用ODS 层表开发ADS 数据,待数据需要复用的时候就把逻辑沉淀到公共层,同理指标也会有类似情况。


image.png


主要问题可以归纳为七点:


• 系统临时表多,只增不删,对于消费侧影响较大,因为表量巨大,有效比例低,很难检索到。

• 命名不规范。

• 公共层过度设计。

• ADS 重复建设。

• ADS 跨集市依赖。

• ADS 共性未下沉。

• ADS 穿透依赖ODS。


2. 原因分析


从问题分类上看,主要有三大类问题:规范性问题,公共层复用性问题和应用层复用性问题。

从问题原因上看,主要有四大类原因:架构规范,流程机制,产品工具,以及研发能力。


image.png


3. 模型治理的问题


image.png


模型治理的挑战:


• 业务价值不明显,治理带来的是长期价值,短期对业务影响不大。

• 治理协作复杂,治理需要ODS、CDM、ADS 层多人多团队协作。

• 问题治理难根治,容易出现新模型依赖有问题模型。

• 模型平均生命周期不长(25 个月)。


综上所述,模型治理的ROI 比较低,我们的问题就是如何模型治理才最高效?



《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3) https://developer.aliyun.com/article/1230768?groupCode=tech_library


相关文章
|
机器学习/深度学习 存储 数据采集
数仓建模—OneID
这个和上面的更新问题有点像,上面更新问题我们可以保证一个自然人的OneID不发生变化,但是选择问题会导致发生变化,但是这个问题是图计算中无法避免的,我们举个例子,假设我们有用户的两个ID(A_ID,C_ID),但是这两个ID 在当前是没有办法打通的,所以我们就会为这个两个ID 生成两个OneID,也就是(A_OneID,B_OneID),所以这个时候我们知道因为ID Mapping 不上,所以我们认为这两个ID 是两个人。
5045 1
数仓建模—OneID
|
存储 Rust Go
介绍一下这只小水獭 —— Fluss Logo 背后的故事
Fluss是一款开源流存储项目,致力于为Lakehouse架构提供高效的实时数据层。其全新Logo以一只踏浪前行的小水獭为核心形象,象征流动性、适应性和友好性。水獭灵感源于“Fluss”德语中“河流”的含义,传递灵活与亲和力。经过30多版设计迭代,最终呈现动态活力的视觉效果。Fluss计划捐赠给Apache软件基金会,目前已开启孵化提案。社区还推出了系列周边礼品,欢迎加入钉钉群109135004351参与交流!
1158 3
介绍一下这只小水獭 —— Fluss Logo 背后的故事
|
7月前
|
JSON 人工智能 安全
Qwen Code 能力再升级
Qwen Code v0.3.0 正式发布!全面支持 Stream JSON、多语言界面切换,提升安全稳定与生态适配,助力开发者高效构建 AI 工具。欢迎体验并参与共建!
1157 1
|
SQL 存储 API
Flink Materialized Table:构建流批一体 ETL
本文整理自阿里云智能集团 Apache Flink Committer 刘大龙老师在2024FFA流批一体论坛的分享,涵盖三部分内容:数据工程师用户故事、Materialized Table 构建流批一体 ETL 及 Demo。文章通过案例分析传统 Lambda 架构的挑战,介绍了 Materialized Table 如何简化流批处理,提供统一 API 和声明式 ETL,实现高效的数据处理和维护。最后展示了基于 Flink 和 Paimon 的实际演示,帮助用户更好地理解和应用这一技术。
1081 7
Flink Materialized Table:构建流批一体 ETL
|
SQL OLAP API
微财基于 Flink 构造实时变量池
本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案(一)专场中的分享。主要涵盖三部分内容:1) 基于 Flink 构建实时变量池,解决传统方案中数据库耦合度高、QPS 上限低等问题;2) 选择 Flink 进行流式计算的架构选型(Kappa 架构)及开发效率提升策略,通过数据分层优化开发流程;3) 实时变量池架构与多流关联优化实践,确保高效处理和存储实时变量,并应用于公司多个业务领域。
878 4
微财基于 Flink 构造实时变量池
|
流计算 资源调度 Java
Flink on YARN(下):常见问题与排查思路
上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
Flink on YARN(下):常见问题与排查思路
|
算法 网络安全 数据安全/隐私保护
|
存储 运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
444 0
|
DataWorks 数据可视化 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)
648 0
|
机器学习/深度学习 SQL 人工智能
ID-Mapping在心动公司探索实践
文 / 蔡圣哲 王沛 戴健 范建文 王兵鹏
ID-Mapping在心动公司探索实践