关于flink CheckPoint 状态数据保存的问题
我写了一个带状态的function 采用了如下cp配置： env.enableCheckpointing(5000L, CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(100L); env.getCheckpointConfig().setCheckpointTimeout(60000L); env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); env.setStateBackend(new FsStateBackend("file:///cp/eventCounter"));
请教几个问题： ①按照官网的介绍，目录数据应该是这样的 /user-defined-checkpoint-dir /{job-id} | + --shared/ + --taskowned/ + --chk-1/ + --chk-2/ + --chk-3/ ...
但是我的测试是job正常running时，chk-*永远只有一个，每次做chk,递增 +1 一次
②状态数据按照理解是保存在chk-*下面的，但是我的测试下面只有一个_metadata，并没有每次chk的数据，使用的flink1.12 当我改成使用flink1.8时，是可以看到如下chk-*目录下除了_metadata，还有每次的chk数据. 所以flink1.12高版本的情况每次chk的数据在哪里
③按照官网介绍,默认只保留最新的一份chk数据，如果想保留最近的多份，除了全局flink-conf.yaml中配置state.checkpoints.num-retained: 5， 有程序中使用env 针对每job的配置方式吗*来自志愿者整理的flink
写回答
-
这个配置本身我看了一下只能走 flink-conf.yaml，而且似乎是 per cluster 配置的，虽然 perjob / application 部署的时候没啥问题，但是 session 可能就不行了。配置这块 Flink 是有点全走 flink-conf.yaml + 默认你是用 perjob / application 的意思。*来自志愿者整理的flink
2021-12-05 17:55:59赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
