请问下flink cdc有提供什么手段对比源端和目标端同步数据一致性的方案没?
请问下flink cdc有提供什么手段对比源端和目标端同步数据一致性的方案没?
写回答
-
十分耕耘，一定会有一分收获！楼主你好，看一下这个：社区开发了flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。目前也已开源，开源地址：
https://github.com/ververica/flink-cdc-connectors
flink-cdc-connectors 可以用来替换 Debezium+Kafka 的数据采集模块，从而实现 Flink SQL 采集+计算+传输（ETL）一体化，这样做的优点有以下：
· 开箱即用，简单易上手 · 减少维护的组件，简化实时链路，减轻部署成本 · 减小端到端延迟 · Flink 自身支持 Exactly Once 的读取和计算 · 数据不落地，减少存储成本 · 支持全量和增量流式读取 · binlog 采集位点可回溯
2023-01-30 11:08:26赞同 1 展开评论 打赏 -
公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云 云享专家，BOSS直聘 创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com可以使用Flink SQL CDC + JDBC Connector实现一致性。
2023-01-29 15:13:41赞同 展开评论 打赏 -
我知道的是Flink CDC提供了一种基于日志的数据一致性检查方案，可以通过检查源端和目标端的日志来检查数据一致性。
2023-01-17 16:11:43赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
