开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中如图我设置了依赖项为上一节点,应该是数据准备好了呀?我想实现小时依赖小时,是不是

问题1:DataWorks中如图我设置了依赖项为上一节点,应该是数据准备好了呀?我想实现小时依赖小时,是不是这样设置就可以
问题2:我没有设置分区,是不是就是这个原因?

展开
收起
真的很搞笑 2023-07-11 15:02:43 56 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,您可以通过设置任务的依赖关系来确保任务在满足特定条件时才执行,以实现数据流程的控制和调度。

    根据您提供的信息,如果您将任务的依赖项设置为上一节点,那么该任务将会在上一节点的输出数据准备好后才执行。这意味着,只有当上一节点的数据处理完成且输出可用时,才会触发当前任务的执行。

    如果您希望实现小时级别的依赖,即每小时执行一次任务,并且任务的输入数据是前一个小时处理得到的结果,您可以按照以下步骤进行设置:

    1. 确保每个任务都有一个唯一标识符(例如任务ID),以便在设置依赖关系时引用。

    2. 在DataWorks的任务调度页面中,找到您要设置依赖关系的任务。

    3. 在任务的属性中,找到"依赖配置"或类似的选项。

    4. 设置依赖项为上一小时的同一任务。例如,如果任务ID为task_01,那么依赖项可以设置为task_01_${bdp.system.bizdate_yesterday},其中${bdp.system.bizdate_yesterday}是一个系统变量,表示昨天的日期。

    通过这样的设置,每小时任务将会等待上一个小时任务的输出数据准备完毕后再开始执行,从而实现按小时级别的依赖关系。

    请注意,确保任务之间的依赖关系正确设置并满足您的需求非常重要。如果存在复杂的依赖逻辑或需要更精细的调度控制,建议仔细阅读DataWorks的官方文档,尤其是关于任务调度和依赖配置的章节,以了解更多详细信息和最佳实践。

    2023-07-30 21:28:43
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    根据您提供的截图,您在DataWorks的调度配置中设置了依赖项为“上一节点”,这意味着该节点会等待上一节点的完成后才会开始运行。如果您想要实现小时依赖小时的调度,可以按照以下步骤进行设置:

    在调度配置中,选择“周期性调度”;
    选择“高级调度”选项,进入高级调度配置页面;
    在高级调度配置页面中,选择“自定义”调度类型,并在“调度表达式”中填写类似于“0 ?”这样的Cron表达式,表示每小时的0分执行;
    在“依赖项”中,选择“无依赖项”;
    完成以上设置后,保存并提交调度配置。

    2023-07-30 21:19:36
    赞同 展开评论 打赏
  • 回答1:看下日志 上游产出的分区是啥 比如上游产出 01分区 下游读取02分区 就是挂岔依赖了 需要调整调度参数配置,参考看下 https://help.aliyun.com/document_detail/317811.html?spm=a2c4g.171233.0.i2
    回答2:要看下日志 实际上游产出的是什么 下游读取的是啥 这两个一致能说明没挂错依赖,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-11 15:17:39
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多