在DataWorks中,任务间传递参数的常用方法是使用参数节点和赋值节点。参数节点是一种特殊的虚拟节点,用于管理业务流程中的参数并在任务节点之间传递。它支持常量参数、变量参数以及透传上游节点的参数。需要引用参数的节点只需直接依赖参数节点即可。
此外,如果您想将一个任务的查询结果作为参数传递给下游任务,您可以在上游节点(该节点需支持使用赋值参数功能)的编辑页面中,单击右侧的调度配置。在该节点的 节点上下文 > 本节点输出参数 区域,单击添加赋值参数,一键添加输出的赋值参数。
更进一步,DataWorks还提供了赋值节点来实现任务结果的透传。在实际应用场景中,上游节点任务可能会生成一些参数或运行结果,这些需要在下游节点任务中使用,DataWorks的数据开发任务能够实现参数/节点运行结果在各个节点间的透传。
在DataWorks中,你可以使用变量来在不同的任务之间传递参数。以下是如何操作的步骤:
首先,你可以在一个任务的"变量管理"页面中定义一个变量。例如,你可以定义一个名为"my_variable"的变量,并将其值设置为"Hello, World!"。
然后,你可以在另一个任务的"变量引用"部分引用它。例如,你可以在"数据预览"页面的"过滤器"部分写"${my_variable}"来引用这个变量。
最后,你可以在"数据预览"页面的"输出列"部分引用它。例如,你可以在"输出列"部分写"my_column: ${my_variable}"来将这个变量的值添加到输出列中。
变量只能在同一个工作流中的任务之间传递。如果你需要在不同的工作流之间的任务之间传递参数,你可能需要使用其他的方法,例如使用API或者消息队列。
DataWorks 支持任务间传递参数,具体步骤如下:
本文以在down_compare节点中,分别输出赋值节点使用Python、ODPS SQL和SHELL语言编辑的最后一行代码输出结果为例,为您介绍赋值节点如何结合节点上下文实现上下游参数传递,操作流程如下。创建赋值节点及其他节点配置上下游依赖配置上下文参数并引用赋值参数(ODPS SQL)配置上下文参数并引用赋值参数(Python)配置上下文参数并引用赋值参数(SHELL)
https://help.aliyun.com/document_detail/137534.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。