FAILED: ODPS-0010000:System internal error - fuxi job failed, caused by: ShuffleServiceMode: Dump checkpoint failed请教一下,这个报错一半是什么原因引起的?怎么解决?
这个错误提示是MaxCompute Shuffle Service在作业执行期间发生了错误。
可以尝试一下:
1、提高Map任务的内存限制
2、增加Shuffle节点的数量,以减轻单个Shuffle节点的负载
这个错误提示来自 MaxCompute 的一个系统内部错误 - fuxi job 失败,可能的原因是shuffle服务模式中的Dump Checkpoint失败了。要解决此问题,可以采取以下步骤:
首先,尝试重新执行作业,看看是否仍然出现相同的错误提示。如果错误仍然存在,尝试下一步。
检查作业设置是否正确。确保传递给MaxCompute的参数与表结构和存储格式无冲突。
如果使用了ShuffleService,可以尝试重新启动集群来强制重新启动shuffle服务。如果您使用的是MapReduce任务,则可以尝试通过手动调整reduce task数量来减少shuffle数据量。
如果仍然无法解决问题,可以联系MaxCompute团队获取进一步的帮助和支持。
这个错误提示是MaxCompute Shuffle Service在作业执行期间发生了错误。
可以尝试一下:
1、提高Map任务的内存限制
2、增加Shuffle节点的数量,以减轻单个Shuffle节点的负载
此回答整理自钉群“MaxCompute开发者社区1群”
vpc:'vpc-8vbb1sgj7jnaiwp2d8r82' or '2459137' not in vpc white list, ip: '192.168.14.163'. project: little_fd 任务运行报错,手工重跑就好了。这种问题只能手动加白名单么。,此回答整理自钉群“MaxCompute开发者社区1群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。