开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

阿里Flink CDC的rds数据库,flinkcdc只能同步21个任务,这个有遇到过吗?

阿里Flink CDC的rds数据库,flinkcdc只能同步21个任务,这个有大佬遇到过吗?报这错00e9e802f78438bd00bd090c9db6b171.png

展开
收起
真的很搞笑 2024-01-09 11:15:07 100 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,我了解这个问题。在阿里Flink CDC中,如果使用RDS数据库作为源端,可能会遇到只能同步21个任务的问题。

    这个问题是由于RDS数据库中的binlog格式导致的。当使用MySQL的binlog格式时,每个SQL语句都会被记录为一个事件,而每个事件都有一个唯一的事务ID。然而,在某些情况下,事务ID可能会重复,导致Flink CDC无法正确处理这些重复的事务ID。

    为了解决这个问题,你可以尝试以下方法:

    1. 修改RDS数据库的配置,将binlog格式更改为ROW格式。这样,每个SQL语句都会被视为一个单独的事件,避免了事务ID重复的问题。请注意,这可能需要对数据库进行升级或更改配置。

    2. 如果你无法更改RDS数据库的配置,可以尝试使用其他源端来代替RDS数据库。例如,你可以使用Kafka作为源端,将数据从Kafka主题中读取并进行处理。

    2024-01-09 15:48:33
    赞同 展开评论 打赏
  • 同一个jm下的程序,连接池默认20个 ,此回答整理自钉群“Flink CDC 社区”

    2024-01-09 11:47:35
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载