DataWorks如何实现调度参数的配置?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在 DataWorks 中,可以通过以下步骤来配置调度参数:
登录到 DataWorks 控制台,在项目空间中选择 "数据开发"。
在数据开发页面,找到需要配置调度参数的任务,并点击该任务。
在任务编辑页面,点击右上角的 "参数设置" 按钮。
在参数设置页面,你可以看到已经定义的参数列表和相应的默认值(如果有)。可以直接修改默认值或添加新的参数。
点击 "新增参数" 按钮,输入参数名和默认值,并点击保存。
对于一个具体的任务节点,你可以在其脚本中引用这些参数。例如,使用 ${param_name} 的形式引用参数值,其中 param_name 是你在参数设置中定义的参数名。
在任务调度时,你可以手动指定参数值,或者使用调度插件(如 ODPS 参数服务)来动态传递参数值。根据任务类型和具体的调度方式,可以灵活地配置参数值。
如果您在数据开发修改了调度参数并且提交发布,请在生产运维中心周期任务属性面板检查调度参数是否符合预期,如果不符合预期,请检查任务发布,发布包界面,是否发布生成功。
在周期实例属性面板查看单个实例调度参数替换情况。注意 单个实例不管是否已经运行过,实例的执行参数会实时更新为生产周期任务最新的参数配置。实时场景:节点A当天周期实例A1调度参数time1取值为$bizdate,当天实例已执行成功,代码中参数取值即为bizdate业务时间(具体值)。在当天某一时间点调度参数time1取值由$bizdate改为$cyctime,那么当天实例执行参数此时会显示为cyctime定时时间(具体值)。当前实例重跑,会用最新的参数配置:即time1=$cyctime如果要看调度参数变更前的实例使用的调度参数替换情况,请在日志中查看,详情参考常见问题:如何在日志中查看调度参数替换情况如何通过日志查看当前实例执行时调度参数替换情况?。
https://help.aliyun.com/document_detail/146667.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。