大数据计算MaxCompute中,我用的是按量付费模式,数据量不大,才5w左右,但这个时间延迟这么久是资源不够吗还是什么原因呀?
DTS实例总是显示延迟,如何处理?
可能原因如下:
源端数据库实例使用不同账号创建了多个DTS任务,导致实例的负载过高,请使用同一个账号创建任务。
目标端数据库实例的内存不足,请做好业务安排后重启目标库实例。若无法解决问题,请升级目标端实例规格或进行主备切换。https://help.aliyun.com/zh/dts/support/faq?spm=a2c4g.11186623.0.i11
提供了监控报警功能,您可以通过控制台对重要的监控指标设置报警规则,让您及时了解运行状态。配置方法,请参见配置监控报警。https://help.aliyun.com/zh/dts/user-guide/configure-monitoring-and-alerting-1#task-2081551
有两个原因1、join阶段数据膨胀,看日志merge join已经6000w行了。检查一下join是不是笛卡尔积了。https://help.aliyun.com/zh/maxcompute/use-cases/data-skew-tuning?spm=a2c4g.11186623.0.i14#p-b10-lf2-xu92、在online阶段多执行了10分钟,执行不成功回退到offline执行。![image.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_5775bd707e95474b93b5ec4a1e710364.png)
,此回答整理自钉群“MaxCompute开发者社区2群”
MaxCompute执行时间的延迟可能有多种原因,不一定仅仅是因为资源不够。即使您使用的是按量付费模式,并且数据量不大,仍然可能存在其他影响因素。例如,数据处理逻辑复杂、网络传输速度慢或者任务并发量高等,都可能导致执行时间增长。
如果您发现执行时间过长,可以考虑优化作业逻辑以提高效率,或者针对网络瓶颈进行专门的优化。此外,为了避免单用户占用过多集群资源而导致其他用户无法发起作业的情况,MaxCompute限制了单用户、单地域可使用的按量付费闲时版计算资源。因此,您也可以根据自己的需求和预算,选择合适的资源规格和计费模式。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。