Maxcompute的元数据视图查询时为什么会产生大量的计算费用?
information schema提供的是视图元数据,对用户免存储费用, 但是查询会产生计算费用,视图的计算输入是按底层物理表数据输入,视图能查到的数据量不代表物理表仅存有这个量的数据。由于tasks_history和tunnel_history物理表较大(maxc的对应地域下的全局表),因此产品侧针对这两个视图做了优化,每日6点对昨日数据做一次切分以减少输入量提升查下性能,其他视图未做此处理。
建议用户侧在使用功能元数据视图进行任务分析/费用计算时,尽量在6点之后进行统计 ,可以减少大量数据输入从而减少扫描费用——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
MaxCompute 是以 project 为计费单元,计费项包括存储、计算、数据下载三类。 不同视图存在不同的时效性或系统默认的保留周期,超过保留周期的数据将无法访问。您可以手工从Information_Schema周期性导出数据到本地表中,备份更长周期的历史数据。 费用说明如下: - 对于使用按量计费计算资源的项目,针对Information Schema视图的查询会产生查询费用,查询视图的SQL产生的费用按视图底层展开的SQL进行计费。Information Schema视图为了提升查询性能底层统一通过Range聚簇表进行优化,减少查询输入量, 如果您查询TASKS_HISTORY和TUNNELS_HISTORY这两个视图,请在每天6:00:00后查询前一天数据以及避免查询当天的数据,可最大程度减少输入量从而降低查询费用。 - 对于使用包年包月计算资源的项目,查询Information Schema视图时会消耗您购买的CU。 - 您不需要为Information Schema视图支付存储费用。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。