同一段SQL,之前还能正常跑,现在数据量特意减少后还是OOM了,正常的时候任务资源消耗是 ,在开窗计算的时候发生,OOM报错:Detail error msg: KILL_NAKILL_NA: plannedResource({Memory=1536, SInstance=1, CPU=100}) usedResource({Memory=14686, CPU=173})
可以尝试优化SQL,我列举我想到的方法给你: 1. 尽量减少查询字段,只查询必要的字段; 2. 尽量减少查询表,只查询必要的表; 3. 尽量减少查询条件,只查询必要的条件; 4. 尽量减少排序字段,只排序必要的字段; 5. 尽量减少分组字段,只分组必要的字段; 6. 尽量减少开窗函数,只使用必要的开窗函数; 7. 尽量减少子查询,只使用必要的子查询; 8. 尽量减少连接,只使用必要的连接; 9. 尽量减少索引,只使用必要的索引; 10. 尽量减少临时表,只使用必要的临时表; 11. 尽量减少排序,只使用必要的排序; 12. 尽量减少分区,只使用必要的分区; 13. 尽量减少分桶,只使用必要的分桶; 14. 尽量减少缓存,只使用必要的缓存; 15. 尽量减少并行度,只使用必要的并行度; 16. 尽量减少内存,只使用必要的内存; 17. 尽量减少磁盘IO,只使用必要的磁盘IO; 18. 尽量减少网络IO,只使用必要的网络IO; 19. 尽量减少统计信息,只使用必要的统计信息; 20. 尽量减少查询优化器,只使用必要的查询优化器;
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。