开发者社区 > 云原生 > 中间件 > 正文

Flink CDC checkpoint要是开启的话 是不是必须自己搞一个能够存储持久化数据的中间件

Flink CDC这个checkpoint要是开启的话 是不是必须自己搞一个能够存储持久化数据的中间件? 图片.png

展开
收起
wenti 2023-02-06 16:17:24 523 0
3 条回答
写回答
取消 提交回答
  • Flink CDC开启checkpoint是否需要持久化数据中间件?

    • 需要。

    原因:

    • Flink CDC的checkpoint机制需要将数据写入到持久化存储中,以便在发生故障时能够恢复数据。
    • 如果不使用持久化数据中间件,则Flink CDC的checkpoint数据将存储在内存中,这可能会导致数据丢失。

    持久化数据中间件的选择:

    • Flink CDC支持多种持久化数据中间件,包括:

      • Apache Kafka
      • Apache HDFS
      • Amazon S3
      • Google Cloud Storage
      • Azure Blob Storage
    • 用户可以根据自己的需要选择合适的持久化数据中间件。

    持久化数据中间件的配置:

    • Flink CDC的持久化数据中间件需要进行相应的配置,以便能够与Flink CDC配合使用。
    • 具体配置方法请参考Flink CDC的官方文档。
    2024-02-27 18:27:45
    赞同 展开评论 打赏
  • hdfs就可以啊,消息中间件也可以——该回答整理自钉群“Flink CDC 社区”

    2023-02-06 20:46:52
    赞同 展开评论 打赏
  • 是的,阿里云Flink CDC checkpoint需要一个可以持久化数据的中间件,比如MySQL、HBase、Kafka等

    2023-02-06 19:15:17
    赞同 展开评论 打赏

为企业提供高效、稳定、易扩展的中间件产品。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载