流处理任务中checkpoint失败如何解决？
目前遇到一个问题，在iterative stream job 使用checkpoint，按照文档进行了相应的配置，测试过程中checkpoint几乎无法成功 测试state 很小，只有几k，依然无法成功。会出现org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold.的报错 ; 配置如下： env.enableCheckpointing(10000, CheckpointingMode.EXACTLY_ONCE, > true); > > > CheckpointConfig checkpointConfig = env.getCheckpointConfig(); > > > checkpointConfig.setCheckpointTimeout(600000); > > > checkpointConfig.setMinPauseBetweenCheckpoints(60000); > > > checkpointConfig.setMaxConcurrentCheckpoints(4); > > > > > > > > > checkpointConfig.enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); > > > checkpointConfig.setPreferCheckpointForRecovery(true); > > > checkpointConfig.setTolerableCheckpointFailureNumber(2); > > > checkpointConfig.enableUnalignedCheckpoints(); > > > > > > > > > 任务只处理几条数据，未存在反压的情况。有遇到类似问题的老哥吗？ > *来自志愿者整理的flink邮件归档
写回答
-
按理说，数据和 barrier 没有依赖关系的，但从你的描述看，没有数据的时候，无法接受到 barrier，或许你可以分享一下你的代码（可以把业务逻辑进行简化），或许大家可以帮你看看*来自志愿者整理的flink
2021-12-07 20:22:12赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
