开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC真要把表名都带进去么?

Flink CDC真要把表名都带进去么?传表名是没问题的,表配*
1.任务先启动跑着增量模式
2.新建表往里加数据
3.savepoint
4.savepoint恢复
5.新建的表里没有同步数据image.png

展开
收起
真的很搞笑 2023-11-07 08:03:50 46 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,在 Flink CDC 中,必须明确地将表名传入到 Flink CDC 执行环境中才能完成 SQL 查询,您可以选择一次性指定所有表名或指定范围内的表名。
    另外,在不同的场景下,有不同的参数可供选择:

    1. 全局表名:通过指定全部表名来扫描所有的表名;
    2. 表名称范围:通过指定范围内的表名来筛选表名;
    3. 表前缀:通过指定表前缀筛选出匹配的部分表名;
    4. 表后缀:通过指定表后缀筛选出匹配的部分表名。
    2023-11-07 14:45:26
    赞同 1 展开评论 打赏
  • 是的,Flink CDC在初始化时,需要提供所有需要监听的表的列表。这是因为Flink CDC是通过监听数据库的binlog来获取变化的,所以它需要在一开始就知道哪些表可能会发生变化。

    当你在Flink任务运行过程中新建了一个表,并往里面添加了数据,但是Flink任务并没有对这个新表进行监听,所以它无法捕获到这个新表中的变化。

    如果你想要让Flink任务能够监听到这个新表的变化,你需要重新启动Flink任务,并在启动参数中添加这个新表的名称。你也可以在Flink任务运行过程中动态地添加新的表名,但是这可能需要一些额外的配置。

    至于你提到的Savepoint,它的主要作用是在Flink任务出现故障时,可以将任务恢复到某个状态,但是它并不能用来同步新添加的表的数据。

    2023-11-07 10:30:56
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载