DataWorks这个错误怎么解决?failed: ODPS-0010000:System internal error - fuxi job failed, caused by: kWorkerOutOfMemory(errCode:256) at Odps/yxgs_dev_20240516095212342gpjib6l_SQL_0_1_0_job_0/R5_4@m11b01107.cloud.b19.am11#5.%20Detail%20error%20msg:%20KILL_NAKILL_NA:%20plannedResource({Memory=1536,%20SInstance=1,%20CPU=80})%20usedResource({Memory=14744,%20CPU=131})
错误信息
ODPS-0010000:System internal error - fuxi job failed, caused by: kWorkerOutOfMemory(errCode:256) at Odps/xxx/xxx. Detail error msg: KILL_NAKILL_NA: plannedResource({Memory=xxx, CPU=xxx}) usedResource({Memory=xxx, CPU=xxx})
错误码描述
实际使用的资源大于计划使用的资源导致内存超用被杀。
解决方案
通过报错信息中的plannedResource与usedResource可以识别出计划使用资源与实际使用资源的数量,您可以通过参数调大计划使用资源。报错信息中的Task类型分为M(mapper)、R(reducer)、J(joiner),您可以根据报错信息SET操作,如odps.stage.mapper.mem、odps.stage.mapper.split.size。
参考文档https://help.aliyun.com/zh/maxcompute/user-guide/odps-0010000-1?spm=a2c4g.254786.0.i3
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。