开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc2.0 全量阶段故障恢复,可以从checkpoint恢复吗?

flink cdc2.0 全量阶段故障恢复,可以从checkpoint恢复吗? 第二个 flink cdc2.0到hbase有丢数据的现象,有遇到过没?

展开
收起
真的很搞笑 2023-09-28 09:22:55 108 0
1 条回答
写回答
取消 提交回答
  • flink cdc2.0 全量阶段故障恢复,可以从checkpoint恢复。这是flink cdc2.0 的一个重要的改进,相比于1.x 版本,不需要重新启动全量扫描,而是可以从上一次的检查点恢复数据,并继续进行全量和增量的同步。这样可以节省时间和资源,提高效率和可靠性。

    要实现全量阶段的检查点恢复,需要在flink cdc2.0 的配置中开启以下两个参数:

    • 'scan.incremental.snapshot.enabled':设置为 true,表示开启增量快照模式,即在全量阶段每次扫描一个表分区后,就会生成一个快照,并保存到检查点中。
    • 'scan.incremental.snapshot.chunk.size':设置为一个合适的值,表示每次扫描多少行数据后,就会生成一个快照块,并保存到检查点中。这个值可以根据您的数据量和内存大小进行调整。

    开启了这两个参数后,当任务发生故障时,可以通过以下步骤进行恢复:

    • 重新启动任务,并指定从上一次的检查点恢复。
    • flink cdc2.0 会根据检查点中保存的快照信息,恢复每个表分区的扫描进度,并继续扫描剩余的数据。
    • 当所有表分区都扫描完毕后,flink cdc2.0 会切换到增量阶段,并根据检查点中保存的偏移量信息,恢复每个表的变更流消费进度,并继续消费剩余的变更数据。
    2023-10-17 14:24:44
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载