开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

依赖关系什么情况下配置依赖上一周期的依赖项为本节点?

依赖关系什么情况下配置依赖上一周期的依赖项为本节点?

展开
收起
solitude. 2023-02-20 18:39:01 264 0
1 条回答
写回答
取消 提交回答
  • 业务场景:如果当前节点本周期任务运行需要依赖上一周期当前节点产出的节点数据时,当前节点可以设置自依赖。即当前节点上一周期实例执行完成后,当前节点下一周期的实例才去执行,避免当前实例取数时,上一周期实例还在执行(数据还未产出)。本节点依赖自己上一周期产出的数据,如果您需要确认上一周期产出数据的时间,请在任务的调度配置 > 时间属性区域,配置依赖上一周期 > 本节点。小时任务依赖天任务,当上游天任务运行完成时,已到下游小时任务的多个周期定时时间,导致小时任务多周期并发调度。此时您可以在任务的调度配置 > 时间属性区域,配置依赖上一周期 > 本节点。此回答整理自钉钉群”DataWorks交流群(答疑@机器人)“

    2023-02-20 21:12:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载