DataWorks暂停节点时配置才节点上的数据质量规则和智能规则还生效吗?
在DataWorks中,即使节点被暂停,配置在该节点上的数据质量规则和智能规则仍然会生效。
DataWorks作为一个大数据开发治理平台,提供了数据质量管理功能,允许用户为数据表配置质量监控规则。这些规则用于监控表数据是否符合要求,并在数据不符合预设的质量标准时自动拦截问题任务,以防止脏数据向下游蔓延。数据质量规则通常与产出该表数据的调度节点关联,这意味着即使节点暂停,只要数据质量规则已经配置并激活,它们仍然会在后台进行检查。
此外,数据质量规则的配置是独立于节点运行状态的。即使在离线数据校验场景下,通过表配置的分区表达式来匹配节点每天产出的表分区,数据质量规则也会根据配置进行监控,不受节点运行状态的影响。
总的来说,数据质量规则和智能规则的设计目的是为了确保数据的准确性和一致性,因此它们会持续监控数据质量,不论节点是否正在运行。如果您需要暂停某个节点但不希望质量规则失效,DataWorks的数据质量管理功能可以满足这一需求。不过,为了确保数据处理流程的顺畅,建议在暂停节点前仔细考虑可能的影响,并与团队成员沟通协调。
智能监控如果是未完成之类的话 应该还是会触发 数据质量规则生效 但是不会触发规则运行 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。