开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

开发数据集成作业时,日志显示读取了855093条,但查看目标表数据只有1700多条,这种可能是什么问

开发数据集成作业时,日志显示读取了855093条,但查看目标表数据只有1700多条,这种可能是什么问题呢? LocalJobContainerCommunicator - Total 855093 records, 267789335 bytes | Speed 6.38MB/s, 21377 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.061s | All Task WaitReaderTime 82.889s | Percentage 100.00% 在源系统中找了一条未抽取过来的数据,DI作业数据源数据过滤条件单独限制该条,如“编号='14654'” 就能够抽取过来这条

展开
收起
游客3oewgrzrf6o5c 2022-08-03 12:04:54 489 0
1 条回答
写回答
取消 提交回答
  • 一般是查询的表和分区不是任务实际写入的,或者是同步后有其他任务操作过了表(此答案整理自DataWorks交流群(答疑@机器人))

    2022-08-03 14:44:26
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载