《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(4)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3) https://developer.aliyun.com/article/1230768?groupCode=tech_library



3. 智能建模


在数据治理中有数据规范与共建机制依然是不够的,还需要结合自动化工具来提升效率、保障规范。我们是从以下4 个方面入手的(详情可以体验DataWorks 的产品):


• 数据体系目录结构化

• 模型设计线上化

• 打通研发流程(自动化生成简代码)

• 对接地图数据专辑


1) 数据目录体系结构化


形成数据体系目录有利于了解掌握数据,分门别类的方式降低了大家的使用成本。首先要对表命名做一些管控,我们做了可视化的表命名检测器,来确保规范性。另外,淘系不是一个单空间的数据体系,因此要解决跨多个空间的复杂数据体系的统一建模问题。


image.png

image.png



image.png

2) 模型设计线上化


image.pngimage.png


image.png

改变模型设计方式,由线下设计迁移到线上,通过一些自动化工具,提升效率,保

证规范。




《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(5) https://developer.aliyun.com/article/1230766?groupCode=tech_library

相关文章
|
机器学习/深度学习 存储 数据采集
数仓建模—OneID
这个和上面的更新问题有点像,上面更新问题我们可以保证一个自然人的OneID不发生变化,但是选择问题会导致发生变化,但是这个问题是图计算中无法避免的,我们举个例子,假设我们有用户的两个ID(A_ID,C_ID),但是这两个ID 在当前是没有办法打通的,所以我们就会为这个两个ID 生成两个OneID,也就是(A_OneID,B_OneID),所以这个时候我们知道因为ID Mapping 不上,所以我们认为这两个ID 是两个人。
4943 1
数仓建模—OneID
|
分布式计算 大数据 数据处理
浅谈几个经典大数据处理框架
【6月更文挑战第15天】本文介绍企业如何在数据洪流中保持竞争力需借助可扩展平台和数据策略。数据管道整合多元数据源,便于分析和流转。Kappa架构专注于实时处理(如通过Kafka、Spark Streaming),适合实时响应场景;Lambda架构结合批处理与实时处理(如Spark、Hadoop与Flink),平衡实时性和批处理,易于开发和维护。Apache Beam提供统一模型,适用于流处理和批处理,提升代码复用和效率。这两种架构满足现代应用对数据一致、性能和灵活性的需求。
1637 3
浅谈几个经典大数据处理框架
|
SQL 存储 API
Flink Materialized Table:构建流批一体 ETL
本文整理自阿里云智能集团 Apache Flink Committer 刘大龙老师在2024FFA流批一体论坛的分享,涵盖三部分内容:数据工程师用户故事、Materialized Table 构建流批一体 ETL 及 Demo。文章通过案例分析传统 Lambda 架构的挑战,介绍了 Materialized Table 如何简化流批处理,提供统一 API 和声明式 ETL,实现高效的数据处理和维护。最后展示了基于 Flink 和 Paimon 的实际演示,帮助用户更好地理解和应用这一技术。
1024 7
Flink Materialized Table:构建流批一体 ETL
|
Cloud Native Devops 持续交付
云原生架构的演进与实践
本文深入探讨了云原生架构的核心概念、技术组件及其在现代软件开发中的应用。通过分析容器化、微服务、持续集成/持续部署(CI/CD)等关键技术,揭示了这些技术如何共同促进应用程序的灵活性、可扩展性和高可用性。文章还讨论了云原生架构实施过程中面临的挑战和最佳实践,旨在为开发者和企业提供一套实用的指导方针,以便更有效地利用云计算资源,加速数字化转型的步伐。
416 5
|
存储 网络协议 前端开发
NAS 和 SAN 服务器概述
NAS 和 SAN 服务器概述
1358 1
|
算法 网络安全 数据安全/隐私保护
|
机器学习/深度学习 SQL 人工智能
ID-Mapping在心动公司探索实践
文 / 蔡圣哲 王沛 戴健 范建文 王兵鹏
ID-Mapping在心动公司探索实践
|
存储 运维 DataWorks
淘系数据模型治理最佳实践
本次分享题目为淘系数据模型治理,主要介绍过去一年淘系数据治理工作的一些总结。
2149 0
|
存储 运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(3)
393 0

热门文章

最新文章