Flink CDC中oracle cdc在全量同步的过程中有修改操作,发现修改的数据会丢失啊,全量阶段完成后再次修改就可以获取到,但是之前的丢了 ,怎么解决?
在 Flink CDC 中,当使用 Oracle CDC 进行全量同步时,如果在全量同步期间发生了修改操作,会导致数据丢失的问题。这是因为全量同步只捕获到变更之后的数据,并不能获取到已经发生的修改。
解决这个问题的一种常见方法是,在进行全量同步之前,先将数据库表设置为只读模式,以确保在全量同步期间没有修改操作发生。可以通过以下方式来实现:
在开始全量同步之前,将 Oracle 数据库的表设置为只读模式。这样可以防止其他对该表的修改操作。
运行 Flink CDC 进行全量同步操作。Flink CDC 将捕获从设置只读模式开始到结束全量同步之间的所有数据变更。
全量同步完成后,将数据库表设置为可写模式,允许继续接收修改操作。
通过将数据库表设置为只读模式,可以避免在全量同步期间发生的数据修改被覆盖或丢失。但请注意,将数据库表设置为只读模式可能会影响系统的正常运行,需要根据具体情况评估和权衡。
如果在 Flink CDC 的 Oracle CDC 全量同步过程中出现了修改数据丢失的情况,可能是由于以下原因导致的:
Oracle CDC 全量同步默认只同步数据的最新版本,如果数据在全量同步期间被修改了多次,只有最新版本的数据会被同步,之前的版本会被忽略。这可能会导致一些修改操作丢失。
Oracle CDC 全量同步期间可能会出现数据变更的“脏读”情况,即在同步过程中读取的数据可能已经被其他事务修改了,但这些修改的数据还没有被提交到数据库中,因此在全量同步过程中无法捕获到这些修改操作。
针对上述问题,可以考虑以下解决方案:
在进行 Oracle CDC 全量同步之
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。