各位大佬,最近使用flink cdc 抽取 oracle 19C的数据,使用LATESET_OFFSET启动,发现修改表中一条数据的内容,要等几个小时之后,日志才会打印接收到数据并处理,请问可能是什么原因呢?
这种情况通常是由于Flink CDC使用的是Oracle LogMiner技术,而Oracle LogMiner有一个缺点,就是有一定的延迟。当Oracle数据库中的数据发生变化时,Flink CDC会等待一段时间来确保数据已经写入到日志中并且已经被Oracle LogMiner捕获。因此,如果你使用LATEST_OFFSET启动,它可能会导致一些延迟。
要解决这个问题,你可以尝试使用EARLIEST_OFFSET来启动Flink CDC,这样可以确保从Oracle日志的最早位置开始读取数据。如果你确定不需要实时的数据,可以增加Flink CDC的日志级别,以便查看更多的调试信息来了解处理数据的情况,也可以考虑使用其它的数据同步工具或者技术来实现实时数据同步。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。