《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3) https://developer.aliyun.com/article/1230768?groupCode=tech_library



3. 智能建模


在数据治理中有数据规范与共建机制依然是不够的,还需要结合自动化工具来提升效率、保障规范。我们是从以下4 个方面入手的(详情可以体验DataWorks 的产品):


• 数据体系目录结构化

• 模型设计线上化

• 打通研发流程(自动化生成简代码)

• 对接地图数据专辑


1) 数据目录体系结构化


形成数据体系目录有利于了解掌握数据,分门别类的方式降低了大家的使用成本。首先要对表命名做一些管控,我们做了可视化的表命名检测器,来确保规范性。另外,淘系不是一个单空间的数据体系,因此要解决跨多个空间的复杂数据体系的统一建模问题。


image.png

image.png



image.png

2) 模型设计线上化


image.pngimage.png


image.png

改变模型设计方式,由线下设计迁移到线上,通过一些自动化工具,提升效率,保

证规范。




《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5) https://developer.aliyun.com/article/1230766?groupCode=tech_library

相关文章
|
2月前
|
缓存 运维 监控
《SaaS网关多租户治理:从串流到稳控的实践》
本文记录某制造集团SaaS协同平台API网关多租户治理的重构实践。初代网关因依赖“路径前缀+静态IP映射”,在租户增至8家(含3家私有云部署)后,爆发数据串流、混合云适配差、个性化需求迭代慢、故障定位难四大问题。通过搭建“租户元数据+动态路由表”双层隔离机制解决串流,设计多维度决策的混合云路由策略引擎降低转发延迟,构建配置化规则引擎实现零代码定制,并攻克缓存穿透、路由断连、规则冲突三大细节难题。最终租户串流率归零,混合云路由延迟降45%,规则生效时间从2天缩至10秒。
225 9
《SaaS网关多租户治理:从串流到稳控的实践》
|
Cloud Native 数据可视化 架构师
一文看懂蚂蚁BizStack 云原生开发和治理平台
在数字化转型大背景下,企业如何解决业务敏捷交付、科技持续治理难题?
1763 2
一文看懂蚂蚁BizStack 云原生开发和治理平台
如何进行有效的业务影响分析(BIA)?
如何进行有效的业务影响分析(BIA)?
873 1
|
10月前
|
运维 监控 安全
出海短信就选阿里云,覆盖 200+国家
国际/港澳台短信,就找阿里云
336 3
|
Cloud Native API 持续交付
云原生架构下的微服务治理策略与实践####
本文旨在探讨云原生环境下微服务架构的治理策略,通过分析当前面临的挑战,提出一系列实用的解决方案。我们将深入讨论如何利用容器化、服务网格(Service Mesh)等先进技术手段,提升微服务系统的可管理性、可扩展性和容错能力。此外,还将分享一些来自一线项目的经验教训,帮助读者更好地理解和应用这些理论到实际工作中去。 ####
216 0
|
消息中间件 中间件 测试技术
软件体系结构 - 遗留系统演化策略
【4月更文挑战第11天】软件体系结构 - 遗留系统演化策略
635 4
|
搜索推荐 领域建模 调度
(上)原理都懂,就是不会建模?来,顶尖数据模型走一波
(上)原理都懂,就是不会建模?来,顶尖数据模型走一波
|
机器学习/深度学习 SQL 人工智能
ID-Mapping在心动公司探索实践
文 / 蔡圣哲 王沛 戴健 范建文 王兵鹏
ID-Mapping在心动公司探索实践
|
存储 运维 DataWorks
淘系数据模型治理最佳实践
本次分享题目为淘系数据模型治理,主要介绍过去一年淘系数据治理工作的一些总结。
1994 0