开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC同步postgresql不能配置从哪里开始同步吗,我看默认是先把历史数据全读取了?

Flink CDC同步postgresql不能配置从哪里开始同步吗,我看默认是先把历史数据全读取了?

展开
收起
真的很搞笑 2023-10-04 07:42:41 144 0
1 条回答
写回答
取消 提交回答
  • Flink CDC同步postgresql可以配置从哪里开始同步,但是需要根据不同的场景和需求来选择合适的方式。具体的方法有以下几种:

    • 使用快照模式(snapshot mode):这种方式是Flink CDC的默认行为,它会先把postgresql中的历史数据全读取一遍,然后再读取实时的变更数据。这种方式适合于需要同步全量数据的场景,或者postgresql中没有开启逻辑复制(logical replication)的场景。要使用这种方式,可以在创建Flink CDC数据源时设置参数'debezium.snapshot.mode'为'initial'或者'always'。
    • 使用增量模式(incremental mode):这种方式是Flink CDC的高级行为,它只会读取postgresql中的变更数据,不会读取历史数据。这种方式适合于只需要同步增量数据的场景,或者postgresql中已经开启了逻辑复制,并且已经创建了复制槽(replication slot)的场景。要使用这种方式,可以在创建Flink CDC数据源时设置参数'debezium.snapshot.mode'为'never',并且指定参数'debezium.slot.name'为已存在的复制槽名称。
    • 使用混合模式(hybrid mode):这种方式是Flink CDC的灵活行为,它可以根据postgresql中的数据变化情况来动态地选择快照模式或者增量模式。这种方式适合于需要同步部分全量数据和部分增量数据的场景,或者postgresql中已经开启了逻辑复制,但是没有创建复制槽或者复制槽已经过期的场景。要使用这种方式,可以在创建Flink CDC数据源时设置参数'debezium.snapshot.mode'为'when_needed'或者'schema_only'。
    2023-10-17 11:30:52
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载