在DataWorks中,调度参数的使用是任务调度的关键部分。这些参数允许您根据配置的取值规则,在每次任务运行时自动替换为真实的取值,实现任务调度时间内参数的动态替换。例如,您可以配置系统参数,如业务时间,其取值格式通常为yyymmdd。
要使用流程配置参数运行,首先需要定义和配置调度参数。然后,在任务节点的配置中,可以指定需要使用的参数。DataWorks会根据节点的调度配置,模拟任务调度时的参数转换,您可基于转换后的参数值验证调度参数转换是否正确。如果参数值不符合预期,应根据业务需求及时调整调度配置,以免影响任务正常调度运行。
此外,流程参数也可以在节点间传递。例如,可以在sql节点获取流程参数:sql节点参数配置:ReplaceMe=abc 流程参数>节点参数。当运行整个业务流程时:由于流程参数ReplaceMe=RepalceMe123,所以该节点赋值为RepalceMe123。
最后,您可以手动运行业务流程,选择运行整个业务流程或指定节点的任务。只需单击操作栏中的运行,然后在弹出的对话框中配置参数后,单击运行即可。
DataWorks 的流程配置参数是指在数据工作流中定义的参数,可以通过变量的形式传递给各个任务。以下是使用 DataWorks 流程配置参数运行的步骤:
SET @query = CONCAT('SELECT * FROM myTable WHERE myColumn = ''', '%myParameter%', '''');
这将使用当前参数的值来动态生成 SQL 查询语句。
在DataWorks中,您可以通过以下步骤使用流程配置参数运行:
这样,通过以上步骤,您就可以在DataWorks中使用流程配置参数来运行业务流程了。
【流程参数】
当整个业务流程需要对同一个变量进行统一赋值/参数值替换时,可选择该功能。
【使用方式】
对于sql节点,需要在数据开发->调度参数中配置:x=aaa,在执行时才能正确替换成x=y1;代码中以unknown的方式来引用。
对于shell类型节点,需要在数据开发->调度参数中配置:unknown,在执行时天成y1;代码中需要以$1的方式来引用。
对于数据集成类型节点,需要在数据开发->调度参数中配置:-p”-Dx=aaa”,在执行时替换成-p”-Dx=y1”,在代码中以unknown的方式引用。
【注意事项】:
手动业务流程的全局参数:只对odpssql、shell、数据集成生效,而且需要特定的格式。比如全局参数为x=y1。
调度业务流程的全局参数:只对odpssql节点生效。
参数请注意区分大小写。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,可以使用流程配置参数来运行业务流程。以下是一些基本步骤:
使用流程参数https://help.aliyun.com/zh/dataworks/user-guide/use-workflow-parameters?spm=a2c4g.11186623.0.i76
当需要对业务流程中多个节点的同一参数变量统一赋值或替换其参数值时,可使用流程参数功能实现。本文以替换周期业务流程中节点的ReplaceMe参数取值示例,为您介绍流程参数的使用方法。
前提条件
已创建业务流程,用于配置流程参数。详情请参见创建周期业务流程、创建手动业务流程。
已创建节点,配置的流程参数将在节点中使用,替换实际节点中的参数取值。
流程参数配置入口
进入数据开发页面。
登录DataWorks控制台。
在左侧导航栏,单击工作空间列表。
选择工作空间所在地域后,单击相应工作空间后的快速进入 > 数据开发。
进入流程参数配置界面。
双击目标业务流程,在业务流程编辑页面右侧导航栏配置流程参数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。