开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC tableList写的正则表达式符合正则flinkcdc能动态采集到吗?

Flink CDC tableList写的正则表达式,任务启动后如果有新增的表符合正则flinkcdc能动态采集到吗?

展开
收起
十一0204 2023-07-26 08:28:43 462 0
4 条回答
写回答
取消 提交回答
  • 工作中Java用的多,微服务架构拥护者,喜欢Python,Rust。

    话说你们写回答的能不能用点心,最起码自己试过了再来回答把。

    你们的回答我都试了, 正则表达式没有一个是正确的。

    亲测如下正则表达式可用:

    source:
      type: mysql
      hostname: 192.168.1.92
      port: 3306
      username: root
      password: xxx
      tables: test_ar_sync_sr.\.*
      server-id: 5400-5404
      server-time-zone: Asia/Shanghai
    
    sink:
      type: starrocks
      name: StarRocks Sink
      jdbc-url: jdbc:mysql://192.168.1.82:9030
      load-url: 192.168.1.82:8030
      username: root
      password: ""
      table.create.properties.replication_num: 1
    
    pipeline:
      name: Sync MySQL Database to StarRocks
      parallelism: 2
    

    至于题主说的任务已经启动,而后修改job config 是否会按照新得配置加载任务, 没有尝试过。

    2024-11-14 10:40:49
    赞同 1 展开评论 打赏
  • 在 Flink CDC 中,tableList 参数用于指定需要采集的表名列表。你可以在 tableList 中使用正则表达式来匹配符合条件的表名。

    Flink CDC 支持使用正则表达式来动态采集表,只要正则表达式能够准确地匹配到符合条件的表名即可。这使得你可以根据特定的命名规则或模式来选择需要采集的表。

    以下是一个示例,展示了如何在 tableList 中使用正则表达式进行动态采集:

    cdc.source.table-list = my_database.my_table_.*
    

    上述示例中,my_database.my_table_.* 是一个正则表达式,它将匹配以 my_table_ 开头的所有表名。

    请确保你的正则表达式能够正确匹配到你希望采集的表名,并检查 Flink CDC 的配置是否正确地将该正则表达式应用到了 tableList 参数。

    需要注意的是,正则表达式的性能可能与表名数量和复杂度相关。如果需要采集大量的表,或者正则表达式非常复杂,可能会对 CDC 任务的性能产生一定的影响。因此,在设计正则表达式时,请尽量考虑性能和效率方面的问题。

    2023-07-31 22:34:01
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在 Flink CDC 中,可以使用正则表达式来指定需要抽取的表。这有助于在有大量表的情况下,快速筛选需要抽取的表,提高任务的性能。
    Flink CDC 支持使用 Java 正则表达式来匹配表名。您可以在 tableList 配置项中使用正则表达式来指定需要抽取的表。例如,假设您有以下三张表:
    Copy
    db1.table1
    db1.table2
    db2.table3
    如果您只想抽取 db1 数据库下的所有表,可以使用以下正则表达式:
    Copy
    db1..*
    这个正则表达式将匹配 db1 数据库下的所有表,包括 db1.table1 和 db1.table2。
    需要注意的是,Flink CDC 中使用的是 Java 正则表达式,因此需要符合 Java 正则表达

    2023-07-29 13:57:27
    赞同 展开评论 打赏
  • 存在即是合理

    Flink CDC 的 tableList 可以写正则表达式,以便动态采集符合正则表达式的表。但是,如果添加了新表,需要修改 tableList 之后从 checkpoint 中重启 Flink 作业才能生效 。

    2023-07-27 14:27:31
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载