开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

数据治理中心的架构有哪些?

已解决

数据治理中心的架构有哪些?

展开
收起
游客lmkkns5ck6auu 2022-09-14 18:44:08 868 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    数据治理中心基于治理问题驱动,构建了一个治理量化评估-问题发现/预 防-治理问题的优化处理的闭环提升机制。基于事前预防、事后整治相结合的方式,提供了几大核心产品功能。这里要说明下,这个“事前”、“事 后”的“事”,定义为数据平台中,ETL 作业的正式数据生产这一个环节。

    • 数据治理中心通过检查项的功能,可以做到在任务的提交、发布等关键 环节,对于 SQL 代码的质量、性能消耗等进行自动扫描和检查卡点,来 预防新问题的引入。这个有点类似于编译和优化的提示。

    • 当前面临的一个现实问题是数仓、数据中台的建设可能已经进行了较长 时间,会存在许多存量的问题需要优化治理。数据治理中心的治理项功 能,就是为此而设计,可以发现系统中存量需要优化的问题,并给出对 应的解决办法。与检查项一样,这也是一种全自动的方式。

    • 数据治理中心最具特色的,或者说是阿里巴巴内部数据治理实践的特色, 是这套量化评估机制。基于治理“健康分”的概念,从“计算”、“存 储”、“质量”、“安全”和“研发”五个基础维度进行量化评估,进 而给出整体的治理健康度评估。便于治理实施前了解现状、同时也会数 据治理实施后的成效提供客观评估。

    • 此外,数据治理中心在成本优化治理方面,也提供了资源使用分析等一 系列的产品能力,可以清晰了解单个任务、单张表粒度的资源消耗、费 用预估以及资源异动情况,帮助公司有针对性地进行计算和存储的优化 治理,来达成降本增效的目标。

    以上内容摘自《阿里云云原生一体化数仓新能力解读》电子书,点击https://developer.aliyun.com/ebook/download/7725 可下载完整版

    2022-09-14 23:08:36
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载