开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

同一段SQL,之前还能正常跑,现在数据量特意减少后还是OOM了,正常的时候任务资源消耗是,在开窗计算

同一段SQL,之前还能正常跑,现在数据量特意减少后还是OOM了,正常的时候任务资源消耗是 7afdd053309489cf8ffb5a390764237f.png ,在开窗计算的时候发生,OOM报错:Detail error msg: KILL_NAKILL_NA: plannedResource({Memory=1536, SInstance=1, CPU=100}) usedResource({Memory=14686, CPU=173})

展开
收起
爱喝咖啡嘿 2023-01-03 13:38:54 410 0
1 条回答
写回答
取消 提交回答
  • 可以尝试优化SQL,我列举我想到的方法给你: 1. 尽量减少查询字段,只查询必要的字段; 2. 尽量减少查询表,只查询必要的表; 3. 尽量减少查询条件,只查询必要的条件; 4. 尽量减少排序字段,只排序必要的字段; 5. 尽量减少分组字段,只分组必要的字段; 6. 尽量减少开窗函数,只使用必要的开窗函数; 7. 尽量减少子查询,只使用必要的子查询; 8. 尽量减少连接,只使用必要的连接; 9. 尽量减少索引,只使用必要的索引; 10. 尽量减少临时表,只使用必要的临时表; 11. 尽量减少排序,只使用必要的排序; 12. 尽量减少分区,只使用必要的分区; 13. 尽量减少分桶,只使用必要的分桶; 14. 尽量减少缓存,只使用必要的缓存; 15. 尽量减少并行度,只使用必要的并行度; 16. 尽量减少内存,只使用必要的内存; 17. 尽量减少磁盘IO,只使用必要的磁盘IO; 18. 尽量减少网络IO,只使用必要的网络IO; 19. 尽量减少统计信息,只使用必要的统计信息; 20. 尽量减少查询优化器,只使用必要的查询优化器;

    2023-01-10 23:50:55
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载