开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc使用savepoint停止任务新的表会按照那种模式进行消费呢?

flink cdc使用savepoint停止任务,再用savepoint启动时,新加了一张表,并更改了消费方式,比如从binlog头部消费改为了全量转增量,那接下来新的表会按照那种模式进行消费呢?

展开
收起
十一0204 2023-08-16 08:03:04 85 0
1 条回答
写回答
取消 提交回答
  • 使用Flink CDC使用savepoint停止任务,新的表会按照全量模式进行消费。

    Flink CDC的自动恢复功能是基于checkpoint来实现的。当Flink CDC任务发生故障时,Flink会自动恢复到最近一次checkpoint的位置。如果Flink CDC任务没有checkpoint,那么就无法自动恢复。

    当Flink CDC任务使用savepoint恢复时,Flink会根据savepoint中的信息重新创建任务。如果没有指定savepoint,那么Flink会使用最新的checkpoint来创建任务。

    当Flink CDC任务使用savepoint创建时,Flink会重新解析Flink CDC的配置。如果新的表没有在Flink CDC的配置中指定,那么Flink CDC会按照全量模式来消费新的表。

    2023-09-22 11:14:49
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载