开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 不需要依赖kafka啊, 即使配置了ha, 不就能恢复了吗?

flink cdc 不需要依赖kafka啊, 即使配置了ha, jobmanager读取checkpoint不就能恢复了吗?

展开
收起
真的很搞笑 2023-09-13 15:01:07 242 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 不需要依赖 Kafka,但是在生产环境中,为了提高吞吐量和可靠性,建议使用 Kafka 作为中间件。

    如果不使用 Kafka,需要配置 Flink CDC 的 HA 机制。Flink CDC 的 HA 机制包括:

    元数据同步:Flink CDC 会将元数据(如表结构、数据库连接信息等)同步到 Flink 集群中的所有节点。如果某个节点发生故障,其他节点可以从元数据中恢复 Flink CDC 的数据流。
    数据分片:Flink CDC 会将数据分片到 Flink 集群中的多个节点。如果某个节点发生故障,其他节点可以从分片中恢复数据。
    虽然 Flink CDC 可以配置 HA 机制,但是在生产环境中,还是建议使用 Kafka。

    Kafka 是一个消息队列,可以将 Flink CDC 的数据流缓存起来。如果某个节点发生故障,其他节点可以从 Kafka 中恢复数据。Kafka 还可以提高 Flink CDC 的吞吐量,因为 Kafka 可以将数据缓存起来,然后再将数据写入到 Flink 集群中的多个节点。

    综上所述,在生产环境中,建议使用 Kafka 作为 Flink CDC 的中间件。这样可以提高吞吐量和可靠性。

    2023-10-20 15:30:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载