开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

Maxcompute的元数据视图查询时为什么会产生大量的计算费用?

Maxcompute的元数据视图查询时为什么会产生大量的计算费用?

展开
收起
爱喝咖啡嘿 2023-01-03 11:03:30 235 0
2 条回答
写回答
取消 提交回答
  • information schema提供的是视图元数据,对用户免存储费用, 但是查询会产生计算费用,视图的计算输入是按底层物理表数据输入,视图能查到的数据量不代表物理表仅存有这个量的数据。由于tasks_history和tunnel_history物理表较大(maxc的对应地域下的全局表),因此产品侧针对这两个视图做了优化,每日6点对昨日数据做一次切分以减少输入量提升查下性能,其他视图未做此处理。
    建议用户侧在使用功能元数据视图进行任务分析/费用计算时,尽量在6点之后进行统计 ,可以减少大量数据输入从而减少扫描费用——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-01-05 19:08:42
    赞同 展开评论 打赏
  • 今天也要加油吖~

    MaxCompute 是以 project 为计费单元,计费项包括存储、计算、数据下载三类。 不同视图存在不同的时效性或系统默认的保留周期,超过保留周期的数据将无法访问。您可以手工从Information_Schema周期性导出数据到本地表中,备份更长周期的历史数据。 费用说明如下: - 对于使用按量计费计算资源的项目,针对Information Schema视图的查询会产生查询费用,查询视图的SQL产生的费用按视图底层展开的SQL进行计费。Information Schema视图为了提升查询性能底层统一通过Range聚簇表进行优化,减少查询输入量, 如果您查询TASKS_HISTORY和TUNNELS_HISTORY这两个视图,请在每天6:00:00后查询前一天数据以及避免查询当天的数据,可最大程度减少输入量从而降低查询费用。 - 对于使用包年包月计算资源的项目,查询Information Schema视图时会消耗您购买的CU。 - 您不需要为Information Schema视图支付存储费用。

    2023-01-03 12:41:00
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载