开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks实例生成方式设置为发布后即时生成 当天会生效运行吗?

DataWorks实例生成方式设置为发布后即时生成 当天会生效运行吗?

展开
收起
真的很搞笑 2023-10-22 20:55:50 88 0
5 条回答
写回答
取消 提交回答
  • 如果你将DataWorks实例的生成方式设置为"发布后即时生成",则在发布后会立即生成实例,并开始按照设定的调度规则执行任务。当天会生效运行,但具体开始时间可能会受到以下因素的影响:

    1. 调度时间

      • DataWorks实例的任务会按照设定的调度时间进行执行。如果当前时间已经超过了设定的调度时间,则任务会在下一个调度时间点开始执行。
    2. 任务运行时间

      • 如果DataWorks实例中的任务需要消耗较长的运行时间,任务可能需要在当天的后续时间段内完成。任务的运行时间可能取决于任务的复杂性、数据量和资源配置等因素。
    3. 任务依赖关系

      • 如果DataWorks实例中的任务存在依赖关系,某些任务可能需要等待前置任务完成后才能开始执行。这可能会导致一些任务的开始时间延迟。

    请注意,以上因素可能会影响任务的开始时间,使其不一定在设定的调度时间点立即开始。为了确保任务的准确运行,建议在DataWorks中进行适当的任务调度和监控,以便及时发现和解决任何异常情况。

    如果需要更加精确地控制任务的运行时间,可以结合使用DataWorks的调度规则和手动触发等功能来实现。通过调整调度规则、手动执行任务等方式,可以灵活地控制任务的运行时间,以满足特定的需求。

    2023-10-23 20:48:15
    赞同 展开评论 打赏
  • 是的,当您在阿里云的DataWorks中将实例生成方式设置为发布后即时生成时,该配置会在您发布下游节点后立即生效,系统会立刻为您生成实例,用于运行实例任务等操作。

    2023-10-23 11:23:30
    赞同 展开评论 打赏
  • 节点提交发布的时间早于23:30(23:30~24:00点期间为全量转实例期间)时,则DataWorks会即刻为您生成实例。任务定时运行时间在提交发布时间的10分钟之后(例如提交发布时间是18:00,定时运行时间是18:30),则DataWorks会正常生成实例运行任务,您可以在实例列表中找到对应的实例。任务定时运行时间距离提交发布时间不足10分钟(例如提交发布时间是18:00,定时运行时间是18:05),则DataWorks会生成一个已完成的实例,image.png
    节点实例状态为实时生成的过期实例,过期实例不会真实跑数据。节点提交发布的时间晚于23:30(23:30~24:00点期间为全量转实例期间)时,则发布后即时生成实例功能不生效,您在实例列表中找不到对应的实例,需要等到提交发布后的第三天实例才生效。节点如果是孤立节点时(即节点的调度依赖中,没有任何依赖的上游节点),则无法正常生成实例。 例如,新增节点时,上游节点的实例生成方式配置为T+1次日生成,下游节点的实例生成方式配置为发布后即时生成时,下游节点实例即时生成后,上游节点实例还未生成,此时下游节点无法根据依赖关系找到上游节点实例,会变成孤立节点,无法自动调度。已有的实例从T+1次日生成变更为发布后即时生成,会影响当天实例的产生情况。任务的定时时间(t1)在修改发布时间点(t2)的十分钟后:已生成的节点实例会被删除并替换为实时转出的实例。任务的定时时间(t1)是不在修改发布时间点(t2)的十分钟后:已生成的节点实例会保留。组合节点(例如PAI节点、do-while节点、for-each节点等包含内部节点逻辑的节点)不支持将实例生成方式配置为发布后即时生成,即不支持实时转实例功能。
    https://help.aliyun.com/document_detail/137554.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-23 05:48:00
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果DataWorks实例生成方式设置为发布后即时生成,那么当天可能会生效运行。然而,这取决于你发布的具体时间和DataWorks的实例生成规则

    2023-10-22 22:24:42
    赞同 展开评论 打赏
  • 在DataWorks中,将实例生成方式设置为"发布后即时生成"后,该设置会在当天生效并触发任务的运行。

    具体来说,如果您将实例生成方式设置为"发布后即时生成",那么当您发布任务后,系统会立即生成对应的实例,并按照调度配置的时间进行运行。这意味着,只要您在当天发布了任务,相应的实例就会被生成,然后根据调度时间执行任务。

    请注意,如果设置了任务的调度时间是过去的时间点,或者当前时间已经超过了任务的调度时间,那么任务可能会错过执行。因此,在将实例生成方式设置为"发布后即时生成"后,建议确保任务的调度时间设置合理,并且在任务需要执行的时间前发布。

    2023-10-22 21:22:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多