开发者社区> 问答> 正文

Flink报错org.apache.kafka.connect.errors.DataExce...

已解决

Flink报错org.apache.kafka.connect.errors.DataException: xxx is not a valid field name

展开
收起
提个问题! 2024-05-28 15:37:34 368 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    【报错原因】
    分库分表的中某张物理表缺少了您在MySQL CDC表中定义的字段,导致Schema不一致。
    例如您正则表达式mydb.users_\d{3}去监控mydb数据库下users_001,users_002,……, users_999这些表,您在MySQL CDC表的DDL中声明了user_name字段,但如果users_002这张表没有user_name字段,在解析到users_002表的Binlog时就会出现该异常。
    【解决方案】
    针对分库分表场景,分库分表里的每个表中必须包含MySQL CDC DDL中声明的字段。
    另外您也可以升级到VVR 6.0.2及以上版本的MySQL CDC,高版本会自动使用分库分表中最宽的Scheam解决该问题。
    2024-05-28 15:37:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载

相关镜像