开发者社区> 问答> 正文

MaxCompute Spark中Executor 内存不足的表现形式是什么?

MaxCompute Spark中Executor 内存不足的表现形式是什么?

展开
收起
芯在这 2021-12-12 22:54:59 552 0
1 条回答
写回答
取消 提交回答
  • 在Executor的日志(Logview->某个Worker->StdErr)中出现Cannot allocate memory

    在任务结束的Logview result的第一行中出现:The job has been killed by "OOM Killer", please check your job's memory usage.

    在Sensor中发现内存使用率非常高

    在Executor的日志中出现java.lang.OutOfMemoryError: Java heap space

    在Executor的日志中出现GC overhead limit exceeded

    Spark UI中发现频繁的GC信息

    可能出现OOM的间接表现形式:部分Executor出现No route to host: workerd********* / Could not find CoarseGrainedScheduler等错误

    2021-12-12 22:55:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载