开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks调度系统中,下游对上游需要遵循的原则是什么?

dataworks调度系统中,下游对上游需要遵循的原则是什么

展开
收起
爱喝咖啡嘿 2023-01-03 13:31:50 304 0
2 条回答
写回答
取消 提交回答
  • 在DataWorks调度系统中,下游对上游的依赖需要遵循的原则为:下游任务生成的实例会找到当天离自己最近结束的一个上游实例作为上游依赖,如果上游依赖实例运行成功,才会触发本节点实例运行。如果上游节点每天生成多个实例,则下游无法识别是哪一个实例离它最近结束,导致必须等上游当天生成的所有实例运行完成后才会运行。因此,上游节点必须配置自依赖,SQL任务在00:00的实例才会准确依赖00:00生成的同步任务实例结束后再运行。本实验的实现思路如下:创建一个同步节点作为上游的分钟任务,一个SQL节点作为下游的天任务。设置同步节点的调度时间为每5分钟调度一次(开始时间00:00,结束时间23:59,时间间隔5分钟)。配置同步节点依赖上一周期 > 本节点,以形成自依赖。设置SQL任务每天00:00调度一次。说明 由于天任务依赖分钟任务,如果分钟级任务失败,会影响天任务的执行。 https://help.aliyun.com/document_detail/112899.html——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-01-06 10:38:09
    赞同 展开评论 打赏
  • 在DataWorks调度系统中,下游对上游的依赖需要遵循的原则为:下游任务生成的实例会找到当天离自己最近结束的一个上游实例作为上游依赖,如果上游依赖实例运行成功,才会触发本节点实例运行。如果上游节点每天生成多个实例,则下游无法识别是哪一个实例离它最近结束,导致必须等上游当天生成的所有实例运行完成后才会运行。

    2023-01-04 07:54:56
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多