开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

开发数据集成作业时,日志显示读取了855093条,但查看目标表数据只有1700多条,这种可能是什么问

开发数据集成作业时,日志显示读取了855093条,但查看目标表数据只有1700多条,这种可能是什么问题呢? LocalJobContainerCommunicator - Total 855093 records, 267789335 bytes | Speed 6.38MB/s, 21377 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.061s | All Task WaitReaderTime 82.889s | Percentage 100.00% 在源系统中找了一条未抽取过来的数据,DI作业数据源数据过滤条件单独限制该条,如“编号='14654'” 就能够抽取过来这条

展开
收起
游客3oewgrzrf6o5c 2022-08-03 12:04:54 498 0
1 条回答
写回答
取消 提交回答
  • 一般是查询的表和分区不是任务实际写入的,或者是同步后有其他任务操作过了表(此答案整理自DataWorks交流群(答疑@机器人))

    2022-08-03 14:44:26
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
2019大数据技术公开课第五季—日志数据如何同步到MaxCompute之实践讲解 立即下载
Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战第二讲 立即下载
《DataWorks 数据集成实时同步》 立即下载