大数据计算MaxCompute我用的就是我们独有调度资源,看日志也是它在加速查询,也就是说他在做优化还是什么, 我不纠结这个了,我现在就想知道你们加速查询的底层原理是怎样的,这个能告知下吗?
MaxCompute加速查询的底层原理主要基于高性能分布式执行引擎HQE和SQE(Simple Query Engine)。SQE实现对MaxCompute的Native访问,然后再结合Hologres高性能分布式执行引擎HQE的处理,达到极致性能。
具体来说,MaxCompute通过流式数据高性能写入和秒级别查询能力(即查询加速),提供EB级云原生数仓近实时分析能力,高效的实现对变化中的数据进行快速分析及决策辅助。这一切的背后,都离不开Hologres背后的执行器SQE(Simple Query Engine),通过SQE实现对MaxCompute的Native访问,然后再结合Hologres高性能分布式执行引擎HQE的处理,达到极致性能。
此外,MaxCompute的查询加速功能MCQA(MaxCompute Query Acceleration)也起到了重要作用,它帮助用户了解该系统架构、关键特性、应用场景和使用限制。同时,MaxCompute还与阿里云的其他产品如DataWorks、机器学习PAI、实时数仓Hologres以及Quick BI等进行了深度融合,共同提供了一站式的数据同步、业务流程设计、数据开发、管理和运维功能。
MaxCompute 是阿里云推出的一种大规模分布式数据处理系统,它的加速查询能力主要来自于以下几个方面:
在MaxCompute中,加速查询的底层原理主要有以下几个方面:
本文为您介绍MaxCompute查询加速MCQA(MaxCompute Query Acceleration)功能,并帮助您了解该功能的系统架构、关键特性、应用场景和使用限制。
功能介绍
MaxCompute MCQA功能提供如下能力。
支持对中、小数据量查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级,同时完全兼容原MaxCompute的查询功能。
支持主流BI工具,开展即席查询(Ad Hoc)或商业智能(BI)分析。
支持使用独立的资源池,不占用离线计算资源,可以自动识别查询作业,缓解排队压力,优化使用体验。
支持将MCQA(MaxCompute Query Acceleration)查询作业的运行结果写入临时缓存中。当用户后续执行相同的查询作业时,MaxCompute会优先返回缓存中的结果,加快执行速度。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。