开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

实时同步任务出现脏数据导致任务失败,但是查看日志,并没有详细记录,如何查找?

实时同步任务出现脏数据导致任务失败,但是查看日志,并没有详细记录,如何查找?

展开
收起
雪哥哥 2022-11-27 11:50:09 425 0
1 条回答
写回答
取消 提交回答
  • 查看源表和目标表的数据。检查源表和目标表的数据是否一致,如果存在不一致的情况,则可定位脏数据的来源。 检查同步任务的配置。检查实时同步任务的参数配置,包括源表、目标表、同步模式、字段映射关系等,确保其准确无误。 使用DataWorks数据质量控制功能。针对特定的字段,可以配置自定义SQL校验规则,检查数据是否符合预期。(好像你配置了自定义sql校验规则)

    2023-03-07 19:25:01
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载