Flink CDC你们cdc配置db.*,如果库里频繁加表,你们是咋操作的,一加表就重启任务?不生效啊,任务一直运行着,库里新建一个表,如果不重启任务,增量数据都进不去,只能savepoint,然后savepoint恢复任务,不及时恢复任务,那么后面这个表的历史数据会丢失,除非在任务初始化的时候指定表名,全量启动,后面新建的表,再加到配置里,然后恢复启动不会有问题
mysql有动态加表,动态加表是需要配合savepoint功能的,官网有介绍,代码里很明显这里会清空之前的table-id
我理解是和.*是没关系的,此回答整理自钉群“Flink CDC 社区”
Flink CDC 在指定 db.* 后不会自动检测表的新建和删除行为,建议尽量不要频繁添加或删除表。如果必须这么做,请参考以下建议:
你遇到的问题是在使用Flink CDC时,库中频繁添加新表,并且需要实时捕获增量数据,但任务一直运行着,不重启任务就会导致新表的数据无法进入,即使使用savepoint恢复任务,如果不及时恢复也会丢失后面的历史数据。
针对这个问题,可以尝试以下解决方案:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。