开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

oracle增量同步到postgres,10多张表,有两张表没有接收到增量数据,为什么 ?

oracle增量同步到postgres,10多张表,有两张表没有接收到增量数据,为什么 ?后台没报错,两张表日志增量归档也开启了

展开
收起
wenti 2023-02-06 17:19:16 158 0
2 条回答
写回答
取消 提交回答
  • 如果你在使用某类 CDC 工具将 Oracle 增量数据同步到 Postgres 时,发现有两张表没有接收到增量数据,可以尝试以下排查方法:

    检查 CDC 配置:

    确认所有要同步的表是否都正确配置在 CDC 工具中。某些 CDC 工具要求显式指定要监控的表或表达式。
    确认补充日志状态:

    确保问题表打开了 Oracle 的补充日志并且格式正确。这通常是必需的,因为很多 CDC 工具依赖于补充日志来捕获变更。
    校验权限:

    验证执行 CDC 的用户是否具有读取这两张表的日志的权限。
    检查表是否有活动变更:

    确认在检查期间这两张表确实有发生数据变更。没有数据变更的表不会产生增量数据。
    检查网络和防火墙设置:

    验证没有网络或防火墙设置阻止消息在 Oracle 和 Postgres 之间流动。
    观察日志文件归档:

    查看 Oracle 的归档日志文件,确认相关表的变更是否被正常归档。
    查看 Oracle LogMiner:

    使用 Oracle LogMiner 看是否可以查询到相关表的日志信息。这是 Oracle 提供的用于查看在线和归档 redo 日志文件内容的工具。
    分析 CDC 工具日志:

    如果 CDC 工具有日志,请检查是否有关于这两张表的错误或警告信息。
    检查 Oracle 重做日志和归档日志:

    确保 Oracle 重做日志和归档日志包含了对这两张表更改的信息。
    表结构检查:

    确认这两张表的表结构是否有所不同,比如是否包含大的BLOB/CLOB列,或者是否有其他特殊的配置影响了 CDC 操作。
    重启 CDC 流程:

    在确认没有数据结构和权限问题后,尝试重启 CDC 进程或者服务看是否能恢复数据同步。
    数据类型问题:

    检查表的数据类型是否全部被 CDC 工具支持,某些特殊数据类型可能不被同步。
    万一无法解决:

    如果以上步骤无法解决问题,可以考虑提供更多信息向 CDC 工具的社区或支持服务寻求帮助。

    2024-02-27 16:26:22
    赞同 展开评论 打赏
  • GitHub https://github.com/co63oc/cloud

    查找是否有规则配置

    2023-02-11 16:24:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
Oracle云上最佳实践 立即下载

相关镜像