dataworks依赖上一周期的结果时,如何配置调度依赖跨周期依赖的典型场景?
实时场景一:场景描述:天任务依赖小时任务,但不想等24个小时任务实例运行结束才运行天任务,希望天任务能够在定时时间12:00时运行。解决方案:上游小时任务配置为依赖上一周期 > 本节点,设置下游天任务的定时调度时间为12:00,且天任务无需设置跨周期依赖。 待上游小时任务定时时间12点的实例运行成功后,下游天任务便会运行。实时场景二:实时场景:天任务依赖小时任务昨天的数据。解决方案:下游天任务配置为依赖上一周期 > 自定义,输入上游小时任务的ID。实时场景三:实时场景:小时任务依赖天任务,当上游天任务运行结束,下游小时任务多个周期定时时间已到,导致小时任务多周期并发调起,该如何处理?解决方案:下游小时任务配置为依赖上一周期 > 本节点。实时场景四:实时场景:本节点依赖自己上一周期产出的数据,如何确认上一周期产出的时间?解决方案:本节点配置为依赖上一周期 > 本节点。 https://help.aliyun.com/document_detail/137551.html——此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。