开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

dataworks调度的时候可以依赖dataphin的任务产出节点么?

dataworks调度的时候可以依赖dataphin的任务产出节点么?计算都是基于maxcomput?

展开
收起
真的很搞笑 2024-02-06 08:13:34 56 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks调度时可以依赖Dataphin的任务产出节点,并且计算主要是基于MaxCompute

    DataWorks作为一个大数据开发与治理平台,提供了强大的任务调度功能。在调度过程中,如果某个节点需要依赖上游任务的输出数据,可以通过配置跨周期依赖来实现。这意味着如果一个任务节点需要使用昨天或者上一个时间周期的数据作为输入,它可以被设置为依赖上游任务的上一周期实例的输出。DataWorks支持多种跨周期依赖模式,包括一层子节点、本节点以及自定义节点依赖模式。这些机制确保了上下游节点间的正确依赖顺序,从而保障有效业务数据的适时产出。

    至于计算引擎方面,DataWorks支持多种计算引擎,包括但不限于MaxCompute、Hologres、EMR、AnalyticDB、CDP等。其中,MaxCompute是一个广泛使用的大数据计算服务,提供快速、高效、可扩展的数据处理能力。通过将这些计算引擎绑定到DataWorks,用户可以在工作空间中进行数据开发和周期性调度等操作。

    综上所述,DataWorks不仅能够调度依赖于Dataphin产出的任务节点,还提供了多样化的计算引擎选择,以支持不同的大数据处理需求。

    2024-02-06 17:50:56
    赞同 展开评论 打赏
  • 对接其他调度系统可以参考看下 https://help.aliyun.com/zh/dataworks/user-guide/create-an-http-trigger-node?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-02-06 10:07:36
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载