如果遇到节点遇到慢,导致下游全部异常, 慢在还有一堆之前的节点还没运行,重跑是正常的3月24日,可以怎么快速解决下?
看下卡在哪个节点 看卡主的运行日志慢在哪里。 如果下游节点对堵塞的上游节点没有数据依赖,可以直接右键堵塞的节点置成功,下游就会正常跑了。(此回答整理自钉钉群“MaxCompute开发者社区2群”)
以下是几个可能的解决方案:
提升节点的资源配置,如增加节点的 CPU、内存等资源,以提升节点的处理能力。
调整 maxcompute任务的并发数,减少任务执行的并行度,以降低对节点的负载压力。
检查节点运行时的日志和监控数据,找出导致节点慢的原因,如网络延迟、文件读写等等,并作出相应的优化。
如果节点慢的原因是数据倾斜导致的,则可以考虑采用数据倾斜解决方案,如改变数据分布、增加或减少分区等等。
如果节点慢导致下游任务全部异常,可以通过手动重启下游任务来快速解决问题。另外,也可以考虑使用调度工具对任务依赖关系进行管理,以避免下游任务异常对整个任务流程的影响。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。