开发者社区> 问答> 正文

非对齐检查点还能保证exactly once语义吗

flink最新特性中有非对齐检查点的特性,可以用来解决一些反压下的任务,但如果用了这个,还能保证精确一次吗?对齐的检查点有清晰的快照N~N +

1之间的边界,这个会将数据混在一起,如何在恢复的时候保证精确一次?

*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-02 16:45:12 625 0
1 条回答
写回答
取消 提交回答
  • 不可以,会存在重复消费的问题,如果buffer没有对齐的话,job重启,那么这些buffer的数据就会清空,然后相关的subtask会重新消费一遍。

    *来自志愿者整理的FLINK邮件归档

    2021-12-02 17:03:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
事务、全局索引、透明分布式 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载