开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中pgsql cdc支持像mysql自动同步新增的表吗?

Flink CDC中pgsql cdc支持像mysql自动同步新增的表吗?image.png

展开
收起
真的很搞笑 2023-11-30 16:09:08 74 0
2 条回答
写回答
取消 提交回答
  • 目前不支持,此回答整理自钉群“Flink CDC 社区”

    2023-12-01 10:22:57
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 Apache Flink CDC 中,对于 PostgreSQL 数据库的变更数据捕获(CDC),不支持像 MySQL 那样自动同步新增的表。Flink CDC 依赖于 Debezium,这是一个开源的分布式平台,用于捕获和复制数据库中的变化。

    对于 PostgreSQL,Debezium 使用逻辑解码器来读取 WAL(Write-Ahead Log)日志,并从中提取数据更改事件。然而,这个过程需要提前配置要监听的表。因此,在 PostgreSQL 中使用 Flink CDC 的情况下,你需要手动添加对新表的支持。

    如果你希望实现类似的功能,可以考虑以下方法:

    1. 监控数据库:你可以通过外部工具或脚本来监控数据库中是否有新的表被创建。这可以通过查询系统目录表或者设置触发器来实现。

    2. 动态修改 Flink CDC 任务:一旦检测到新的表,你可以更新你的 Flink CDC 任务配置,将新表加入到监听列表中。然后重新提交任务以开始监听新表。

    3. 使用自定义代码:编写一个扩展 Flink CDC 功能的自定义组件,使其能够自动发现并处理新创建的表。

    4. 构建元数据管理服务:创建一个单独的服务来管理和跟踪所有的表以及它们是否已经被 Flink CDC 监听。当有新表出现时,该服务可以自动更新 Flink CDC 的配置。

    5. 申请功能支持:向 Apache Flink 或者 Debezium 社区提出需求,请求增加对自动发现和监听新表的支持。

    2023-11-30 21:50:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像