Dataphin功能Tips系列(88)补数据场景下,如何实现质量规则的精准回溯校验?

简介: 在数据补跑场景中,为精准校验指定历史日期(如12月18日)的数据,质量管理员应使用基于业务日期的表达式 ds='${yyyyMMdd}' 配置调度规则。该方式支持手动执行时动态关联所选业务日期,确保校验范围准确指向目标数据,实现高效、精确的质量校验。

👉🏻场景

在日常数据运维中,开发人员经常需要对特定历史日期(如12月18日)的任务进行补数据操作以修复偏差。数据重跑后,质量管理员必须对这部分历史数据重新进行质量校验。在补数据场景下,管理员应如何配置调度规则,才能确保手动执行时能精准校验到目标业务日期的数据呢?

👉🏻解决方案及功能

Dataphin的质量调度校验范围表达式支持 ${...} 和 $[...] 两种日期参数:

  1. ds='${yyyyMMdd....}',此表达式的值是基于业务日期进行计算,默认将您选择的业务日期带入并计算后作为校验范围;
  2. ds='$[yyyyMMdd....]',此表达式的值则是基于规则执行当天的运行日期进行计算,默认使用的是执行日期作为校验范围;

为了满足手动选中日期校验的需求,质量管理员应在调度配置时,选用 ds='${yyyyMMdd....}' 这一基于业务日期的表达式。这样在手动运行质量规则时,系统即可根据用户选择的业务日期进行动态计算,实现对目标历史日期的精准校验。具体的配置逻辑如下:

  1. 在「数据质量」-「质量规则」页面,选择对应的质量规则并点击「新建调度」,将调度中的校验范围表达式设置为ds='${yyyyMMdd}'。
  2. 选中对应的质量规则进行手动运行。在弹出的配置窗口中,选择补数据任务的调度并选择业务日期为 2025-12-18。

  3. 最后,在对应的校验记录中,便可以查看对应的校验结果,同时也可以看到此时运行扫描的便是18号的数据

相关文章
|
6天前
|
数据采集 人工智能 安全
|
15天前
|
云安全 监控 安全
|
2天前
|
存储 SQL 大数据
删库跑路?别慌!Time Travel 带你穿回昨天的数据世界
删库跑路?别慌!Time Travel 带你穿回昨天的数据世界
243 156
|
9天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
641 5
|
12天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
789 152
|
20天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1900 9
|
3天前
|
机器学习/深度学习 人工智能 监控
别把模型当宠物养:从 CI/CD 到 MLOps 的工程化“成人礼”
别把模型当宠物养:从 CI/CD 到 MLOps 的工程化“成人礼”
223 163