数据治理中心基于治理问题驱动,构建了一个治理量化评估-问题发现/预 防-治理问题的优化处理的闭环提升机制。基于事前预防、事后整治相结合的方式,提供了几大核心产品功能。这里要说明下,这个“事前”、“事 后”的“事”,定义为数据平台中,ETL 作业的正式数据生产这一个环节。
• 数据治理中心通过检查项的功能,可以做到在任务的提交、发布等关键 环节,对于 SQL 代码的质量、性能消耗等进行自动扫描和检查卡点,来 预防新问题的引入。这个有点类似于编译和优化的提示。
• 当前面临的一个现实问题是数仓、数据中台的建设可能已经进行了较长 时间,会存在许多存量的问题需要优化治理。数据治理中心的治理项功 能,就是为此而设计,可以发现系统中存量需要优化的问题,并给出对 应的解决办法。与检查项一样,这也是一种全自动的方式。
• 数据治理中心最具特色的,或者说是阿里巴巴内部数据治理实践的特色, 是这套量化评估机制。基于治理“健康分”的概念,从“计算”、“存 储”、“质量”、“安全”和“研发”五个基础维度进行量化评估,进 而给出整体的治理健康度评估。便于治理实施前了解现状、同时也会数 据治理实施后的成效提供客观评估。
• 此外,数据治理中心在成本优化治理方面,也提供了资源使用分析等一 系列的产品能力,可以清晰了解单个任务、单张表粒度的资源消耗、费 用预估以及资源异动情况,帮助公司有针对性地进行计算和存储的优化 治理,来达成降本增效的目标。
以上内容摘自《阿里云云原生一体化数仓新能力解读》电子书,点击https://developer.aliyun.com/ebook/download/7725 可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。