开发者社区> 问答> 正文

MaxCompute Spark中出现OOM的解决方法是啥?

MaxCompute Spark中出现OOM的解决方法是啥?

展开
收起
bnbajjyhyjfty 2021-12-12 17:45:09 895 0
1 条回答
写回答
取消 提交回答
  • 限制executor并行度,将cores调小:多个同时运行的Task会共享一个Executor的内存,使得单个Task可使用的内存减少,调小并行度能缓解内存压力。

    增加单个Executor内存

    随公反新景减小每个executor负载 考虑数据倾斜问题。因为数据倾斜导致某个task内存不足。其它task内存足够

    2021-12-12 17:47:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载