大数据数仓体系从“纷繁芜杂”的多组件多模块架构逐步演进到“化繁为简”的实 时离线一体化数仓,其核心是面向海量数据加工场景设计的离线数仓引擎以及面向 实时加工、实时存储、实时分析的实时数仓引擎,在阿里巴巴主要通过大数据计算 服务 MaxCompute 和实时数仓 Hologres 来对应这两块核心引擎能力,同时匹配 Flink 的实时加工能力,将加工和服务,查询和存储尽量缩减为更少的组件,同时保 留各个组件在对应场景的优势能力,构成了阿里云一体化数仓的核心引擎组件。
通 过组件间的数据和元数据互通实现数据的分层处理,当前这套架构适用于海量数据 的数据治理、离线分析、实时分析、数仓集市、多模分析、机器学习在线模型等场 景,帮助客户构建一站式的大数据分析平台,释放企业数据价值。
当前解决方案适 用于数据实时分析+数据离线加工的业务,海量数据计算+分析实时性要求较高的业务,海量数据分析、点查,多源、多样、流量数据+业务数据的分析服务业务。
以上内容摘自《阿里云云原生一体化数仓新能力解读》电子书,点击https://developer.aliyun.com/ebook/download/7725 可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。