Flink CDC中datax可能了解多一点,觉得对比一下,你知道为什么flink不适合做全量同步了,有哪些因素考虑?现在用到datax
Flink CDC确实支持全量同步,但在某些场景下可能存在一些限制。首先,当使用Flink CDC进行全量同步时,它需要获取全局读锁或者表锁,这可能会对生产业务产生影响。其次,在全量同步阶段(快照),只有一个任务进行同步,因此速度相对较慢,并且不支持多任务并发同步。此外,Flink CDC的全量同步不支持断点续传,如果同步过程中出现mysql连接超时或flink程序快照中断,无法从断开点开始续传。
然而,值得一提的是,Flink CDC在2.x版本中已经解决了这些问题:无锁、并发任务同步和断点续传。尽管如此,与DataX相比,DataX作为阿里巴巴开源的异构数据源同步工具,以其丰富的数据源支持和强大的数据转换能力被广大开发者所青睐。
flink针对oracle全量是基于闪回查询的模式,如果表DML特别多完全从undo里面构建前镜像的,这个速度快不起来,同时undo可能覆盖也会导致全量失败。针对oracle还不能多线程,只单线模式。 其他工具单纯抽取全量且支持并行,速度肯定很快,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。