dataworks调度系统中,下游对上游需要遵循的原则是什么
在DataWorks调度系统中,下游对上游的依赖需要遵循的原则为:下游任务生成的实例会找到当天离自己最近结束的一个上游实例作为上游依赖,如果上游依赖实例运行成功,才会触发本节点实例运行。如果上游节点每天生成多个实例,则下游无法识别是哪一个实例离它最近结束,导致必须等上游当天生成的所有实例运行完成后才会运行。因此,上游节点必须配置自依赖,SQL任务在00:00的实例才会准确依赖00:00生成的同步任务实例结束后再运行。本实验的实现思路如下:创建一个同步节点作为上游的分钟任务,一个SQL节点作为下游的天任务。设置同步节点的调度时间为每5分钟调度一次(开始时间00:00,结束时间23:59,时间间隔5分钟)。配置同步节点依赖上一周期 > 本节点,以形成自依赖。设置SQL任务每天00:00调度一次。说明 由于天任务依赖分钟任务,如果分钟级任务失败,会影响天任务的执行。 https://help.aliyun.com/document_detail/112899.html——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks调度系统中,下游对上游的依赖需要遵循的原则为:下游任务生成的实例会找到当天离自己最近结束的一个上游实例作为上游依赖,如果上游依赖实例运行成功,才会触发本节点实例运行。如果上游节点每天生成多个实例,则下游无法识别是哪一个实例离它最近结束,导致必须等上游当天生成的所有实例运行完成后才会运行。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。