开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

飞天大数据平台 MaxCompute 解决余额宝算力难题的解决方案及架构是什么?

已解决

飞天大数据平台 MaxCompute 解决余额宝算力难题的解决方案及架构是什么?

展开
收起
游客lmkkns5ck6auu 2022-08-16 15:00:48 764 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    整个架构都是搭建在阿里云上的,该架构是成熟的三层架构:采集层 + 整合层 +应用层。 1、采集层: 采集层对接了我们几乎所有的业务,采集数据的频率有实时的、分钟级、小时级、日级、月级,支持不同的采集频率,而且这些都是灵活可配置的。将采集的数据通过企业级的数据交换平台进行存储和交换,该平台使用 OSS 实现。通过 OSS 可以实现数据的中转、分发和备份存储。

    2、整合层: 在 MaxCompute 整个整合层包含了五大区:缓冲区、ODS 区、整合区、主数据和汇总区。不同的区域为了实现不同的功能,缓冲区是为了在正式进入数仓应用数据模块之前进行数据质检,满足质检后方可进行真正的加工处理,避免因为数据错误污染整个数仓的数据;ODS 区是为了保留源系统格式的数据模块,一方面能够在有问题时追根溯源,另一方面能够满足部分业务的需要;整合区是数据仓库的核心区域,通过主题建模的方式进行数据的模型化处理,使得数据的解释口径具有统一性;主数据则是与业务结合比较紧密的主题数据,这样更方便业务方的使用;汇总区则是提前将需要预加工统计的数据进行统计计算,避免多次开发计算带来的时间成本、开发成本和计算成本等。

    3、应用层: 应用层主要是通过监控、管理看板、报表等可视化系统给业务提供直观的数据呈现,从而为业务的决策提供更加有力的数据支撑。在应用层通过 RDS、ADS、 HBase 等不同的产品满足了不同的需求。对于数据仓库来说是一个比较复杂的系统,需要很多配套的系统辅助才能做好这样的项目。而其中很多系统在 MaxCompute、DataWorks 中都已经产品化,大大的简化了大数据平台的搭建和运维,提供了一站式的解决方案,而且通过阿里云MaxCompute、Dataworks 能够实现敏捷开发、快速响应、轻量化运维、低成本的实现大数据平台架构。其中包括最核心的调度系统、权限管理、元数据管控、数据安全保护伞等等一系列功能。而在使用中,数据分析师能够快速上手完成数据的加工和分析。

    以上内容摘自《5天入门视觉AI》电子书,点击https://developer.aliyun.com/topic/download?id=31可下载完整版

    2022-08-17 16:20:25
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载