flink cdc使用savepoint停止任务,再用savepoint启动时,新加了一张表,并更改了消费方式,比如从binlog头部消费改为了全量转增量,那接下来新的表会按照那种模式进行消费呢?
使用Flink CDC使用savepoint停止任务,新的表会按照全量模式进行消费。
Flink CDC的自动恢复功能是基于checkpoint来实现的。当Flink CDC任务发生故障时,Flink会自动恢复到最近一次checkpoint的位置。如果Flink CDC任务没有checkpoint,那么就无法自动恢复。
当Flink CDC任务使用savepoint恢复时,Flink会根据savepoint中的信息重新创建任务。如果没有指定savepoint,那么Flink会使用最新的checkpoint来创建任务。
当Flink CDC任务使用savepoint创建时,Flink会重新解析Flink CDC的配置。如果新的表没有在Flink CDC的配置中指定,那么Flink CDC会按照全量模式来消费新的表。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。