开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中postgresql cdc支持像mysql动态加表吗?

Flink CDC中postgresql cdc支持像mysql动态加表吗?

展开
收起
真的很搞笑 2023-12-11 13:49:57 152 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Flink CDC在PostgreSQL中也支持动态加表的功能。这意味着你可以在现有的CDC作业中添加新的表,而无需重启作业或重新读取已有的表。这个功能对于需要动态扩展监控表的场景非常有用。你只需要调用相应的API,就可以将新的表添加到正在运行的CDC作业中。

    具体来说,你可以使用Flink Stream API来开发一个Flink CDC Demo,以PostgreSQL为例,采集PostgreSQL binlog数据并发送至消息队列。如果需要动态加载表,可以使用Flink的startupOptions方法来实现。例如:

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    PostgresSource<String> postgresSource = PostgresSource.<Builder<String>()
        .hostname("localhost")
        .port(5432)
        .database("mydb")
        .table("mytable")
        .username("root")
        .password("password")
        .deserializer(new SimpleStringSchema())
        .startupOptions(StartupOptions.initial()) // 使用初始的起始事件偏移量
        .build();
    DataStream<String> stream = env.addSource(postgresSource);
    

    在这个例子中,StartupOptions.initial()方法会告诉Flink CDC使用初始的起始事件偏移量。如果你知道新的起始事件偏移量,你可以使用StartupOptions.offset(Offset)方法来设置它。

    2023-12-12 14:36:49
    赞同 展开评论 打赏
  • Flink CDC在较早的版本中并不支持动态添加表的功能,尤其是对于PostgreSQL这样的数据库。这意味着当您启动一个CDC作业时,需要预先知道要监控的所有表,并且如果在运行过程中有新的表被创建或删除,这些更改不会自动反映到Flink CDC任务中。

    从2022年3月31日的信息来看,Flink CDC 2.2版本正式发布,并声称支持动态加表功能。虽然这个信息没有明确指出是否包括对PostgreSQL的支持,但考虑到新版本宣称支持多种数据源,我们可以推测它可能已经扩展了对PostgreSQL的动态加表的支持。为了获得准确的答案,建议查阅Flink CDC最新的官方文档或发布说明,或者尝试直接使用该版本的连接器来测试PostgreSQL的动态加表功能。如果您的环境允许,也可以尝试与社区沟通或向项目维护者咨询以确认当前版本的实际功能。

    2023-12-11 16:36:06
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像