您好, 可以不可以按照自然日来清理状态,我们的离线任务每天零点后会跑批覆盖实时计算的结果,实时任务每天凌晨也会停止,等跑批结束后再启动。有没有根据具体时间来清理状态的功能,比如每天到0:00自动清理昨天到状态,我就不用每天重启作业了。
*来自志愿者整理的flink邮件归档
根据你的场景来看,你们是每天0点之后会用离线任务再去覆盖实时的数据,所以我理解等批结束之后,你们的实时任务会从0点开始重新消费数据? 你的担心是说0点过后状态没有清理,那么我理解你用到的状态是自定义的状态并且和时间属性有关,那么其实可以做的一个操作就是你可以判断当前数据的时间戳和状态中存储数据的时间戳,如果不是同一天那么把状态清空即可,这样就做到了自定义状态每天0点自动清除。
我不知道你们的场景以及技术选型,所以我不太明白你们为什么会为了让离线任务覆盖实时计算结果而去把实时任务停止,因为我的理解是离线和实时不冲突,应该是互补的,并且他们的sink应该不同?
*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。