开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问flink cdc 监听 MySQL 从库的话会有问题嘛?

请问flink cdc 监听 MySQL 从库的话会有问题嘛?

展开
收起
十一0204 2023-07-19 16:35:08 114 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中,监视 MySQL 从库可能会有一些问题。这是因为 MySQL 从库本身是一个异步复制的过程,从主库中复制数据到从库的过程中可能会出现一些延迟和不一致性。具体来说,当主库中的数据发生变化时,从库可能需要一定的时间才能将这些变化复制到自己的数据库中。这个时间取决于复制的延迟、网络延迟、从库与主库之间的同步速度等因素。

    在 Flink CDC 监视 MySQL 从库时,这种延迟和不一致性可能会导致一些问题,例如:

    数据不一致:由于 MySQL 从库的复制延迟,Flink CDC 监视的数据可能比实际数据要旧一些,从而导致数据不一致的问题。

    时间戳不准确:在 Flink CDC 中,时间戳通常用于确定数据变化的先后顺序。但是,在 MySQL 从库中,由于复制延迟的存在,时间戳可能不准确,从而导致数据变化的先后顺序不正确。

    性能下降:当 MySQL 从库的复制延迟较大时,Flink CDC 监视的数据可能会比实际数据要慢一些,从而导致 Flink CDC 的性能下降。

    2023-07-29 21:07:50
    赞同 展开评论 打赏
  • 意中人就是我呀!

    也没啥问题,就是需要配置GTID。此回答整理至钉群“Flink CDC 社区”。

    2023-07-19 17:25:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像