《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)

简介: 《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(8)

《全链路数据治理-智能数据建模 》——客户案例:大淘系数据模型治理最佳实践(7) https://developer.aliyun.com/article/1230753?groupCode=tech_library



五、 提问


Q:核心公共层的建设是自顶向下还是自底向上?

A:采用的是两者相结合的方式。以需求为驱动,没有需求就会导致过渡设计,在应用层有复用之后再下沉到公共层,这是自顶向下的。在公共层设计阶段是面向业务过程的,这时是自底向上的。



Q:多BU 公共层是否需要统一规范?怎么去做?怎么量化价值?

A:需要做统一的规范,规范利于数据流通,才能体现数据价值。但是具体怎么规范需要具体去看,如电商、本地生活,业务和目标不一样,很难做到统一的规范。



Q:怎么判断指标需要下沉到公共层?

A:公共层的开发是需要成本的,是否需要下沉到公共层核心是看是否需要复用,可以从两个方面入手。


专家经验判断:如电商交易环节数据,这类数据是核心数据,是要建设到公共层的。事后判断:如玩法之类的业务稳定性不强,那一开始不需要下沉到公共层,避免过度设计,事后再去判断是否需要下沉。



Q:关于表、字段的命名规范,是否需要先定义好词根再开发?

A:需要分开看。对于公共层设计到的业务过程是有限的,对于公共部分要先定义好再开发。对于应用层,维度采用的是总建架构所以还需要先定义,对于指标特别是派生指标是多的,不建议先定义在开发。



Q:如何解决口径一致命名不一致,或者口径不一致或者命名一致的场景。

A:模型是演变的。对于应用层,80%都是自定义的,第一次出现的时候都是不标准的,这部分如果采用先定义后开发的方式,效率是很低的,只有在下沉到公共层的时候才能够管控。对于公共层,能做的是保障核心指标90%的规范与定义统一,剩下的那部分也无法保证。



Q:跨集市依赖下沉到公共层的必要性?

A:短期来看,是没影响的,新增效率高。


长期来会给数据的运维、治理带来很多影响,在数据下线、变更、治理过程中不得不考虑到下游依赖,会影响全流程的开发效率。


相关文章
|
PyTorch API C#
【Python+C#】手把手搭建基于Hugging Face模型的离线翻译系统,并通过C#代码进行访问
目前翻译都是在线的,要在C#开发的程序上做一个可以实时翻译的功能,好像不是那么好做。而且大多数处于局域网内,所以访问在线的api也显得比较尴尬。于是,就有了以下这篇文章,自己搭建一套简单的离线翻译系统。以下内容采用python提供基础翻译服务+ C#访问服务的功能,欢迎围观。
1392 0
【Python+C#】手把手搭建基于Hugging Face模型的离线翻译系统,并通过C#代码进行访问
|
数据采集 自然语言处理 数据挖掘
利用ChatGPT进行数据分析——如何提出一个好的prompt
利用ChatGPT进行数据分析——如何提出一个好的prompt
543 0
|
11月前
|
移动开发 前端开发 数据可视化
React 拖拽布局组件 Drag & Drop Layout
本文介绍了如何在React中构建拖拽布局组件,涵盖基础知识、常见问题及解决方案。首先解释了拖拽操作的三个阶段:开始、过程中和结束。接着推荐了几个常用的拖拽库,如`react-beautiful-dnd`,并详细展示了如何使用该库创建基础拖拽组件,包括安装依赖、初始化容器和处理拖拽结束事件。文章还探讨了常见问题,如拖拽不生效、性能优化、嵌套拖拽和跨浏览器兼容性,并提供了进阶技巧,如自定义样式、多列布局和集成其他UI组件。通过这些内容,读者可以掌握构建高效拖拽布局的方法。
803 16
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在艺术创作中的角色:技术引领创新的艺术新篇章
【8月更文挑战第11天】AI在艺术创作中的角色正逐步从辅助工具转变为创新推动者。通过深度学习、自然语言处理、虚拟现实等先进技术,AI为艺术创作带来了无限可能性和创新空间。未来,随着技术的不断进步和应用的深入拓展,AI与艺术的交融将为我们呈现一个更加丰富多彩、充满活力的创意世界。让我们共同期待AI在艺术创作中的更多精彩表现!
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据指标是用来做什么的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
254 2
|
NoSQL Java Redis
Spring Boot + Redis 实现延时队列,写得太好了!
首先我们分析下这个流程 用户提交任务。首先将任务推送至延迟队列中。
Spring Boot + Redis 实现延时队列,写得太好了!
|
C# Windows
WPF技术之TextBlock控件
WPF(Windows Presentation Foundation)的TextBlock控件是用于显示文本的控件。与Label控件相比,TextBlock提供了更多的灵活性和格式化选项。
880 1
|
SQL 分布式计算 Java
实战 | Hive 数据倾斜问题定位排查及解决 (一)
Hive 数据倾斜怎么发现,怎么定位,怎么解决
861 0
实战 | Hive 数据倾斜问题定位排查及解决 (一)
|
机器学习/深度学习 SQL 人工智能
ID-Mapping在心动公司探索实践
文 / 蔡圣哲 王沛 戴健 范建文 王兵鹏
ID-Mapping在心动公司探索实践
|
存储 运维 DataWorks
淘系数据模型治理最佳实践
本次分享题目为淘系数据模型治理,主要介绍过去一年淘系数据治理工作的一些总结。
1994 0