只用Flink Cdc不用Flink集群,要保证同步效率这个应该如果做呢?这个Flink CDC有没有同步效率相关的参考文档呢?代码层面允许有依赖,提交任务的也必须要依赖Flink集群吗?我看使用案例,没有Flink集群好像也可以获取到变动的数据的呢?
Flink CDC本身是一个实时数据集成框架,它可以独立运行,无需Flink集群的支持。也就是说,您可以使用Flink CDC在没有Flink集群的情况下实现数据同步。
在不使用Flink集群的情况下,您可以使用Flink CDC的命令行工具或其他API,将目标数据源中的数据实时地传输到另一个数据源中。这可以通过编写自定义的程序来实现,也可以通过Flink CDC提供的命令行工具来实现。
为了提高同步效率,您需要注意以下几个方面:
flink-cdc依赖flink,所有是必须有flink的,必须依赖flink,除非你自己独立部署debezium,使用debezium取采集数据
如果你i使用增量快照算法,并发越多越快,其次,还需要考虑下游数据的接受能力,此回答整理自钉群“Flink CDC 社区”
Flink CDC是一个基于流式数据同步的工具,其设计之初就是为了支持海量数据的同步处理。在具体的业务场景中,如何保证同步效率主要取决于以下几个因素:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。