flink cdc 采集oracle 间歇性丢数据,日志里也没报错的情况,使用 3.0 的 pipline 从 MySQL 向 Doris 同步数据的问题
flink 上跑的任务中断过,所以改用了 timestamp 的模式,然后过程中间,对表结构有过变化,数据复制链路就中断了;
报错提示:Caused by: com.ververica.cdc.connectors.mysql.debezium.task.context.exception.SchemaOutOfSyncException: Internal schema representation is probably out of sync with real database schema.
Internal schema representation is probably out of sync with real database schema. The reason could be that the table schema was changed after the starting binlog offset, which is not supported when startup mode is set to TIMESTAMP
然后尝试了其他的集中启动模式,都相同。
那是不是只能采用默认的 initial 从头进行数据同步和表结构映射呢?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。