使用FLink CDC 3.0 ,将MySQL数据同步到SR遇到一些问题
这个问题是因为任务没有使用 savepoint 重启。因此重启后会再次进行全量同步,此时insert、update 的操作数据都能够读取到最新的结果,而 delete 数据则因源表不再包含这条数据,下游不会做对应处理。数据仍然保存。解决办法是通过 flink savepoint 停止原来的任务,如执行下面命令:
flink stop [--savepointPath ]
并且在 flink-conf.yaml 里设置 execution.savepoint.path 指定 savepoint 路径,重新启动 cdc 任务。这样 cdc 任务会从重启前的位点,逐条处理binlog,正确处理 delete 事件。Flink 3.0 还不支持通过 -s/--savepoint 参数指定savepoint 路径。
赞0
踩0