《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(6) https://developer.aliyun.com/article/1230765?groupCode=tech_library



四、 未来规划


1. 应用层效率


在整个数据体系中,应用层的数据体量是最大的,投入了大量的人力。OneData 缺少对应用层的数据建设指导,集市高度耦合,给运维效率带来了不少问题,如跨集市依赖、依赖深度的问题。过去都是以业务为主导,为了保障研发效率放弃了部分研发规范,以后要完善应用层的研发规范,同时通过工具做好研发效率与规范的平衡。


2. 架构规范管控


基于分层标准落地,对研发过程规范完善,包括对设计、开发、运维、变更、治理等规范进行细化。


目前核心是表命名规范,对依赖规范、代码规范、运维规范等管控能力尚不足。


3. 产品工具提效


将继续与Dataworks 共建。


• 应用层智能建模能力还不能满足研发效率要求,因此会继续功能提效。

• 数据测试功能集成。

• 数据运维功能升级。

• 事中数据治理能力构建(开发助手)。

• 事后治理能力提效(批量删除、主动推送优化等)。

• 数据地图,找数用数提效。




《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8) https://developer.aliyun.com/article/1230751?groupCode=tech_library

相关文章
|
机器学习/深度学习 存储 数据采集
数仓建模—OneID
这个和上面的更新问题有点像,上面更新问题我们可以保证一个自然人的OneID不发生变化,但是选择问题会导致发生变化,但是这个问题是图计算中无法避免的,我们举个例子,假设我们有用户的两个ID(A_ID,C_ID),但是这两个ID 在当前是没有办法打通的,所以我们就会为这个两个ID 生成两个OneID,也就是(A_OneID,B_OneID),所以这个时候我们知道因为ID Mapping 不上,所以我们认为这两个ID 是两个人。
5045 1
数仓建模—OneID
|
存储 JSON 大数据
大数据离线数仓---金融审批数仓
大数据离线数仓---金融审批数仓
1179 1
|
4月前
|
人工智能 弹性计算 自然语言处理
2026阿里云“AI焕新季”来了!38元云服务器+7000万Tokens免费送,开发者速抢
阿里云“AI焕新季”大促延至2027年!Qwen3.5全系低至4.5折,新用户领7000万Tokens;轻量服务器38元/年起,支持OpenClaw一键部署;Coding Plan首月仅7.9元。覆盖算力、模型、应用三层,助力开发者低成本落地AI。
|
7月前
|
缓存 Ubuntu Linux
02-Docker安装 CentOS安装Docker
本文详细介绍在CentOS和Ubuntu系统上安装、配置及卸载Docker的完整步骤,包括配置阿里云镜像加速、离线安装方法、设置开机自启与命令补全,助你快速部署并测试Docker环境。
415 0
|
存储 Rust Go
介绍一下这只小水獭 —— Fluss Logo 背后的故事
Fluss是一款开源流存储项目,致力于为Lakehouse架构提供高效的实时数据层。其全新Logo以一只踏浪前行的小水獭为核心形象,象征流动性、适应性和友好性。水獭灵感源于“Fluss”德语中“河流”的含义,传递灵活与亲和力。经过30多版设计迭代,最终呈现动态活力的视觉效果。Fluss计划捐赠给Apache软件基金会,目前已开启孵化提案。社区还推出了系列周边礼品,欢迎加入钉钉群109135004351参与交流!
1158 3
介绍一下这只小水獭 —— Fluss Logo 背后的故事
|
7月前
|
JSON 人工智能 安全
Qwen Code 能力再升级
Qwen Code v0.3.0 正式发布!全面支持 Stream JSON、多语言界面切换,提升安全稳定与生态适配,助力开发者高效构建 AI 工具。欢迎体验并参与共建!
1157 1
|
SQL 存储 API
Flink Materialized Table:构建流批一体 ETL
本文整理自阿里云智能集团 Apache Flink Committer 刘大龙老师在2024FFA流批一体论坛的分享,涵盖三部分内容:数据工程师用户故事、Materialized Table 构建流批一体 ETL 及 Demo。文章通过案例分析传统 Lambda 架构的挑战,介绍了 Materialized Table 如何简化流批处理,提供统一 API 和声明式 ETL,实现高效的数据处理和维护。最后展示了基于 Flink 和 Paimon 的实际演示,帮助用户更好地理解和应用这一技术。
1081 7
Flink Materialized Table:构建流批一体 ETL
|
传感器 物联网 芯片
PWM 在智能照明系统中的应用优势有哪些
PWM(脉冲宽度调制)在智能照明系统中应用广泛,其优势包括:精准控制亮度、色温调节灵活、节能高效、延长灯具寿命、响应速度快及成本低廉。这些特点使其成为智能照明的理想选择。
|
SQL OLAP API
微财基于 Flink 构造实时变量池
本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案(一)专场中的分享。主要涵盖三部分内容:1) 基于 Flink 构建实时变量池,解决传统方案中数据库耦合度高、QPS 上限低等问题;2) 选择 Flink 进行流式计算的架构选型(Kappa 架构)及开发效率提升策略,通过数据分层优化开发流程;3) 实时变量池架构与多流关联优化实践,确保高效处理和存储实时变量,并应用于公司多个业务领域。
878 4
微财基于 Flink 构造实时变量池
|
算法 网络安全 数据安全/隐私保护