开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks依赖上一周期的结果时,如何配置调度依赖跨周期依赖的典型场景?

dataworks依赖上一周期的结果时,如何配置调度依赖跨周期依赖的典型场景?

展开
收起
爱喝咖啡嘿 2022-12-26 16:54:10 190 0
1 条回答
写回答
取消 提交回答
  • 实时场景一:场景描述:天任务依赖小时任务,但不想等24个小时任务实例运行结束才运行天任务,希望天任务能够在定时时间12:00时运行。解决方案:上游小时任务配置为依赖上一周期 > 本节点,设置下游天任务的定时调度时间为12:00,且天任务无需设置跨周期依赖。 待上游小时任务定时时间12点的实例运行成功后,下游天任务便会运行。实时场景二:实时场景:天任务依赖小时任务昨天的数据。解决方案:下游天任务配置为依赖上一周期 > 自定义,输入上游小时任务的ID。实时场景三:实时场景:小时任务依赖天任务,当上游天任务运行结束,下游小时任务多个周期定时时间已到,导致小时任务多周期并发调起,该如何处理?解决方案:下游小时任务配置为依赖上一周期 > 本节点。实时场景四:实时场景:本节点依赖自己上一周期产出的数据,如何确认上一周期产出的时间?解决方案:本节点配置为依赖上一周期 > 本节点。 https://help.aliyun.com/document_detail/137551.html——此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-27 17:09:42
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多