《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(6) https://developer.aliyun.com/article/1230927?groupCode=tech_library
四、 总结&展望
1. 菜鸟数据模型管理建设成果
菜鸟数仓团队从2020 年开始与DataWorks 团队不断共建智能数据建模产品,从最初版简单的录入系统,到集成逆向建模、多表克隆、多种引擎的代码模式、excel交互等功能,极大提升了建模规范和研发效率,成为菜鸟落地数仓规范的统一平台,取得的建设成果如下:
• 规范:辅助数据体系规范化建设,将规范落到实处,同时将菜鸟几千张模型表,逆向建模到我们建模平台上来。
• 降本:在逆向过程中我们发现了历史上很多不规范的表,或者需要合并的表,或者表已经没有下游访问了,这时候就可以将模型表删除,物理表下线,过程中我们整体下线了15%的模型表,对于我们降本的方面还是比较明显的。
• 沉淀:把建模的过程从线下转为线上,沉淀企业级核心数据资产。提效:减少人员沟通成本,产品化支持快速建模以及开发打通,并且不会降低我们建模和研发的效率,开发效率大概提升30%左右。
• 多样:面向业务视角自顶向下进行规范建模与面向开发视角自底向上构建数仓,双管齐下,相辅相成。从0 到1,自顶向下是最规范的,但是开发过程中,1 个小的需求,面向业务的,也可以在这个建模平台上完成。
• 使用人数:在产品使用方面,我们已经让菜鸟的末端团队与公共团队全员使用数据建模平台。
2. 建设成果展示
下图是之前提到的分层划域等建设成果。
模型管理体系是我们数据建模平台未来计划要集成的一个功能,主要有以下5 个方面。
• 研发规范健康分:包括命名规范、注释、SQL、数据类型的规范等
• 数据质量健康分:是否设置了主键、是否有异常比如今天有10 条数据,明天有
100 条数据,是否在业务允许波动的范围以内。
• 计算/存储健康分:包括简单加工、是否有下游、模型表是否有生命周期,有些表访问的是近3 个月的数据,但是保存了近10 年的数据,这个时候可以调整生命周期。
• 稳定性健康分:菜鸟的数仓稳定性保证是有基线与值班机制的,我们的DataWorks 监控基线是否破线,以及数据延迟/报警导致的值班起夜率是我们重点考量的。
• 通用健康分:复用度展现我们模型表下游的访问度如何,完善度展现模型表信息的完整性,我们的业务人员拿到这张表后是否可以理解,以及模型的相似度、血缘的相似度等等。
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(8) https://developer.aliyun.com/article/1230925?groupCode=tech_library