实时同步任务出现脏数据导致任务失败,但是查看日志,并没有详细记录,如何查找?
查看源表和目标表的数据。检查源表和目标表的数据是否一致,如果存在不一致的情况,则可定位脏数据的来源。 检查同步任务的配置。检查实时同步任务的参数配置,包括源表、目标表、同步模式、字段映射关系等,确保其准确无误。 使用DataWorks数据质量控制功能。针对特定的字段,可以配置自定义SQL校验规则,检查数据是否符合预期。(好像你配置了自定义sql校验规则)
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。