想问下,阿里云有没有数据建模平台,就是那种可以编辑表名、字段等数据库信息,然后生成数据库。同时可以管理数据库,最后能跟元数据管理、数据集成、数据治理等这些功能衔接起来。
阿里云有dataworks,核心是做数据开发的,包括数据集成和数据治理。但你说的这种数据建模和管理,类似 navicat 这种,dataworks 是不具备的。
阿里云DataWorks智能数据建模是阿里云云原生一体化数仓 。
2009年,DataWorks就已经在阿里巴巴集团立项,支撑阿里巴巴数据中台建设,一路见证阿里巴巴大数据建设之路。2020年之前,DataWorks支持的是开发视角、自底向上、小步快跑,快速满足业务需求为首要目标的数仓构建模式,然而随着内部数据模型越来越多,线下评审流程越来越复杂,淘宝、天猫、盒马、菜鸟等多个数据仓团队开始和DataWorks合作,构建DataWorks智能数据建模产品,支持业务视角自顶向下的规范化数仓建设,也可以支持传统的开发视角、自底向上的数仓构建模式,真正做到规范化、可持续发展地构建数据仓库。2021年云栖大会,DataWorks智能数据建模正式发布,在阿里巴巴集团内各个业务团队投入生产,并在阿里云上服务世界500强亿滋中国等众多客户。
数据建模作为数仓规范,最大的受益者是企业自身,但企业的价值需要通过一线研发人员的工作得以体现。对于一线研发同学来讲,智能数据建模能为大家带来的最大的好处是提效,相比传统的纯开发或者线下建模线上开发的工作方式来说,智能数据建模能为大家带来更加更加高效的建模和研发方式。由此,帮助企业做好企业数据体系的规范化建设,让数仓规范真正能落到实处。企业数仓规范真正做好以后,能为企业沉淀大量的体系化的核心数据资产,同时,也能顺其自然地为企业节省大量的存储和计算成本。
一般来说数仓会分为三大层,ODS、CDM、ADS。
其中ODS,又称为贴源层。ODS主要用户存储业务系统同步来的业务数据。一般情况下,我们不会对ODS层的数据做过多的加工,以便于后续在ADS和CDM数据出错时的溯源。换句话说,ODS不是数仓同学设计出来的,是对业务系统数据的直接同步。
数仓建设最最重要的公共层CDM层,CDM层需要对业务进行高度抽象,需要具备通用性、易用性、复用性,因此,公共层的建设对数仓同学的要求是非常高的,既精通建模方法,同时也对业务情况了如指掌。CDM层再进行细分,一般会分为DIM层-维度表,DWD层-明细数据表,DWS层-轻度汇总层。
数仓建设最难管但管好了效果非常明显的应用层ADS层,ADS层主要面向业务进行模型设计。因此,大家一定要先了解清楚模型的主要应用场景,是普通的报表分析,还是数据产品的调用等等,不同的应用场景,模型设计需要考虑的因素也不一样。如果规范化ADS层,需要建设的表会减少,通过统一逻辑去查询,会使计算和存储成本降低。
以上仅供参考。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。