DataWorks基础属性:调度参数不同类型节点使用调度参数示例是什么?
DataWorks任务调度时使用的参数称为调度参数,这些参数可以根据您配置的取值规则DataWorks任务调度时使用的参数称为调度参数,这些参数可以根据您配置的取值规则在每次任务运行时自动替换为真实的取值,从而实现任务调度时间内参数的动态替换。节点的基础属性包括名称、ID、类型和责任人等。
对于不同类型的节点,调度参数的使用示例如下:
特别需要注意的是,参数节点不运行数据开发任务,仅用于参数管理和透传参数。如果任务节点使用参数节点中的参数,那么该任务节点需作为参数节点的下游依赖。同时,DataWorks会根据节点的调度配置模拟任务调度时的参数转换,您可以基于转换后的参数值验证调度参数转换是否正确。如果参数值不符合预期,应根据业务需求及时调整调度配置,以免影响任务正常调度运行。
DataWorks提供了多种类型的节点,包括ODPS SQL节点、离线数据节点、EMR类型节点和PyODPS节点。在这些节点中,您可以使用不同的调度参数来控制数据的提取、转换和加载过程。
对于ODPS SQL节点和离线数据节点,您可以直接在右侧的调度配置界面中使用自定义参数为变量赋值,并在代码中引用变量名;如果您想使用系统调度参数,则可以在代码中直接引用它们,而无需在右侧的调度配置界面为它们赋值。
对于EMR类型节点,您可以在调度配置界面中输入自定义参数,并在代码中引用变量名;同时,您还可以使用系统调度参数,并在代码中直接引用它们。
最后,对于PyODPS节点,您可以在右侧的调度配置界面中输入自定义参数,并在代码中通过args变量来获取这些参数的值。此外,您也可以使用系统调度参数,并在代码中直接引用它们。
本文为您介绍度参数配置相关的典型场景及最佳实践汇总。
调度参数配置相关的典型场景及最佳实践如下:
调度参数配置最佳实践
调度参数在数据集成的典型应用场景
各类型节点的调度参数配置示例:
SQL类型节点及离线同步节点
PyODPS节点
通用Shell节点
自定义参数取值差异对比示例:
不同格式自定义参数的应用对比
${…}和$[…]参数的功能差异
调度参数返回值二次处理典型场景
获取上个月最后一天
获取当前季度
获取定时时间15分钟前的年、月、日、小时、分钟
获取时间区间,调度间隔为1天
获取时间区间,调度间隔为1小时
通过赋值节点二次处理调度参数
DataWorks的基础属性调度参数包括自定义参数、系统参数和环境变量,你可以参考以下示例:
请注意,不同的调度参数需要遵循一定的格式要求,以确保正确引用。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。