cdc在进行千万级数据同步时,checkpoint状态比较大,老超时,这块儿有没有好的解决方案?
【回答】 因为你没有描述,是否每次同步都是一次同步这么多, 这里,我就假设, 你第一次需要同步千万级数据, 后期,每次同步,都不需要千万级。 这里最常用的方案: ①第一次同步, 分批次同步,如果你不想修改任何配置、不想增加任何资源, 那就分批次同步。
②待第一次同步完成后, 后期,定期更新同步数据, 这样,即解决了同步超时,也解决了, 每次同步都是千万级的全部数据同步。
这里,如果你每次同步都需要全表同步, 那就需要考虑了,为何要全表同步, 如何改进。
每天定期更新, 这样, 会把当前更新/新增的数据,在做标识,这样, 每次同步的时候, 值对当前的做标识的数据进行同步。
同时,为了 同步后,出现数据问题, 你也需要在第一次同步完成后,每次都需要做backup。
这应该是互联网人必备的思维方式。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。