开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中pg本身是不支持吧,但是如果是单机的话,我想知道从库能不能也实现呢?

Flink CDC中pg本身是不支持吧,但是如果是单机的话,利用decoderbufs插件还是能实现,就是我想知道从库能不能也实现呢?

展开
收起
真的很搞笑 2023-12-04 08:09:42 60 0
3 条回答
写回答
取消 提交回答
  • 在Flink CDC中,PostgreSQL本身不直接支持像MySQL binlog那样的日志复制机制。但是,您提到的decoderbufs插件可以通过解析和转换PostgreSQL的事务日志(WAL)来实现数据变更捕获。

    decoderbufs插件可以将PostgreSQL的WAL格式转换为适合CDC的消息格式,例如Debezium JSON格式。这使得Flink CDC可以连接到PostgreSQL主库并捕获数据变更。

    然而,需要注意的是,从库上的归档日志通常只包含已经应用到从库的事务,而不包含主库上尚未同步到从库的最新事务。因此,在从库上使用decoderbufs插件可能无法直接获取到最新的数据变更。

    如果您希望从库也能实现类似的数据变更捕获功能,可能需要考虑以下几点:

    1. 使用从库作为Flink CDC的数据源:在配置Flink CDC时,将从库配置为数据源而不是主库。这样,Flink CDC会直接连接到从库,并根据从库上已应用的归档日志进行数据变更捕获。

    2. 配置适当的CDC工具或技术:除了decoderbufs插件外,还有其他工具和技术可以实现基于从库的数据变更捕获,如pgoutput插件、BDR(Bi-Directional Replication)等。这些工具可以将从库的变更转发到Flink CDC进行进一步处理。

    2023-12-04 20:42:47
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC确实原生支持PostgreSQL的源连接器,可以用于捕获PostgreSQL数据库Flink CDC确实原生支持PostgreSQL的源连接器,可以用于捕获PostgreSQL数据库的全量快照数据和变更数据。然而,从库是否能实现这个功能,取决于具体的配置和环境。

    在主从复制架构中,从库通常会订阅主库的日志,并以此来保持与主库的数据同步。因此,理论上来说,只要正确地配置了从库,使其能够读取并应用主库的WAL(Write-Ahead Log)日志,那么应该也是可以使用Flink CDC来捕获PostgreSQL数据的变更的。

    但是需要注意的是,这可能需要对PostgreSQL的配置进行一定的修改,例如更改postgresql.conf文件等。此外,根据PostgreSQL的版本不同,对于Flink CDC的支持情况也可能有所不同。例如,postgresql 9.5以下的版本不支持upsert操作。

    2023-12-04 13:51:21
    赞同 展开评论 打赏
  • Flink CDC本身并不支持PostgreSQL,但是可以利用decoderbufs插件实现数据的同步。不过,对于从库的同步问题,目前并没有明确的支持。

    Flink CDC实时同步PostgreSQL数据库的过程主要依赖于WAL(Write-Ahead Log)日志。当数据库中的数据发生变更时,改变的内容会先被计入WAL缓冲区中,然后再将变更后的数据写入数据缓冲区;当提交事务时,WAL缓冲区中的数据会被刷新到磁盘;而在checkpoint发生时,所有数据缓冲区中的数据都会被刷新到磁盘。

    在实现从库的同步时,一种可能的方式是通过复制槽来订阅主库。这样能保证在从库没有收到主库的日志之前,主库不会删除从库未读的部分。然而这种方式需要谨慎处理,因为不用的槽如果没有及时删除,可能会导致日志积压。

    总的来说,虽然Flink CDC不支持PostgreSQL,但通过一些变通的方法还是可以实现数据的同步。同时,针对从库的同步问题,可能需要结合业务需求和环境状况,选择最适合的解决方案。

    2023-12-04 11:20:08
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载