开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中可不可以配置mysql源端控制提取变更数据的间隔 类似配置成每5秒获取变更数据?

Flink CDC中可不可以配置mysql源端控制提取变更数据的间隔 类似配置成每5秒获取变更数据这种?image.png
看源码里好像真没有TIMESTAMP,但是枚举里有定义image.png
oracle

展开
收起
真的很搞笑 2023-07-13 11:14:00 180 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中,可以通过配置参数来控制增量同步的频率和间隔。具体来说,您可以通过以下两个参数来控制 Flink CDC 提取变更数据的时间间隔:

    scan.interval.ms:该参数用于指定增量同步的时间间隔,单位为毫秒。例如,如果您将该参数设置为 5000,则 Flink CDC 每 5 秒会从源数据库读取一次变更数据。

    scan.startup.mode:该参数用于指定增量同步的启动模式,例如 earliest-offset、latest-offset、specific-offsets 等。如果您将该参数设置为 latest-offset,则 Flink CDC 会在启动后立即读取一次最新的变更数据,并在 scan.interval.ms 的时间间隔内继续读取增量数据。

    2023-07-30 09:38:12
    赞同 展开评论 打赏
  • 是的,Flink CDC 中可以配置 MySQL 源端控制提取变更数据的间隔。您可以使用 poll.interval.ms 参数来设置轮询间隔,以便控制 Flink CDC 从 MySQL 数据库中获取变更数据的频率。

    具体而言,poll.interval.ms 参数用于指定两次轮询之间的等待时间,单位为毫秒。您可以将该参数设置为 5000(即 5 秒),以实现每 5 秒获取一次变更数据的效果。

    示例配置如下:

    debezium.poll.interval.ms=5000
    

    在配置文件中添加上述配置,并将其传递给 Flink CDC 应用程序,即可将轮询间隔设置为 5 秒。

    请注意,不同的 CDC 连接器可能会有不同的参数名称和语法,具体取决于所使用的连接器版本和功能。因此,在实际配置过程中,请参考相应的文档或源码,以确保正确使用和理解参数

    2023-07-29 23:28:36
    赞同 展开评论 打赏
  • poll.interval.ms和max.batch.size有这两个参数可以参考。你这是哪个connector啊,枚举里的值不只给一个connector用的。其他connector有支持TIMESTAMP的。,此回答整理自钉群“Flink CDC 社区”

    2023-07-13 13:07:49
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像