开发者社区> 问答> 正文

Flink读取CDC全量数据同步没有异常但是无法同步增量数据

已解决

Flink读取CDC全量数据同步没有异常但是无法同步增量数据

展开
收起
提个问题 2024-05-29 13:07:25 130 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    1.MySQL CDC在做全量读到增量读的切换时,如果全量读是多并发,则在进入增量前要多等一个Checkpoint,来确保全量的数据已经写入到下游后再读取增量数据,从而保证数据的正确性。但是,如果您设置的Checkpoint间隔时间比较大,例如20分钟,则会导致作业20分钟后才开始同步增量数据。因此,您需要根据业务情况设置合理的Checkpoint间隔时间。
    2.如果您使用的是RDS MySQL 5.6只读实例,该类型实例提供的binlog文件是经过简化的,日志中不包含数据,是无法读取到增量阶段的数据的。因此,这种情况建议您使用可写实例或者升级RDS MySQL至更高版本。
    2024-05-29 13:07:26
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
贺小令|Apache Flink 1.16 简介 立即下载
实时计算Flink版产品新功能介绍 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载