👉🏻场景
在日常数据运维中,开发人员经常需要对特定历史日期(如12月18日)的任务进行补数据操作以修复偏差。数据重跑后,质量管理员必须对这部分历史数据重新进行质量校验。在补数据场景下,管理员应如何配置调度规则,才能确保手动执行时能精准校验到目标业务日期的数据呢?
👉🏻解决方案及功能
Dataphin的质量调度校验范围表达式支持 ${...} 和 $[...] 两种日期参数:
- ds='${yyyyMMdd....}',此表达式的值是基于业务日期进行计算,默认将您选择的业务日期带入并计算后作为校验范围;
- ds='$[yyyyMMdd....]',此表达式的值则是基于规则执行当天的运行日期进行计算,默认使用的是执行日期作为校验范围;
为了满足手动选中日期校验的需求,质量管理员应在调度配置时,选用 ds='${yyyyMMdd....}' 这一基于业务日期的表达式。这样在手动运行质量规则时,系统即可根据用户选择的业务日期进行动态计算,实现对目标历史日期的精准校验。具体的配置逻辑如下:
- 在「数据质量」-「质量规则」页面,选择对应的质量规则并点击「新建调度」,将调度中的校验范围表达式设置为ds='${yyyyMMdd}'。
- 选中对应的质量规则进行手动运行。在弹出的配置窗口中,选择补数据任务的调度并选择业务日期为 2025-12-18。
- 最后,在对应的校验记录中,便可以查看对应的校验结果,同时也可以看到此时运行扫描的便是18号的数据