Flink 1.6 版本,RocksDBStateBackend ,增量 Checkpoint 目录问题 我使用 Flink 1.6 版本,使用的增量 Checkpoint,我看官网说,默认的 Checkpoint 保留目录是1,也就是会保留一个最新完成的
Checkpoint 目录,但是在我的任务 Checkpoint 路径下面,居然有很多个 chk-xxx 目录,比如说
chk-86515,chk-37878,而且在这些目录下面,还有数据,这是什么原因呢。
对这个地方有点困惑,既然默认保留的目录是1了,为什么还有这么多 chk 目录呢。
期待你的回答*来自志愿者整理的flink邮件归档
原来是这样,中间的确有很多 Checkpoint 超时失败,对于这种由于 Checkpoint 失败创建的目录,Flink 本身是不会删除的,对吗?
也就是这部分状态文件,会一直存储在HDFS 上面,这种情况是否会造成 Flink Checkpoint 目录下 shared目录无限增大呢*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。