关于flink窗口是否正确关闭的问题
各位大佬好：
最近在使用flink stream api处理数据，逻辑是非常简单的ETL操作
我自己定义的一个1分钟的tumble窗口，watermark是10s，当处在流量高峰时段时，发现下游出现了数据丢失的问题。
举个例子：我上游topic 5000/s,下游接受数据的topic只有4000/s
在流量低谷时就没有这个问题，而且我把窗口去掉后也没有这个问题，是否是窗口被提前关闭了呢？导致我下游的processfunction还没处理完？
ps：我加大了并行度还是不行*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
使用基于EventTime 的 watermark处理数据通常会碰到两这么两种情况：
- 数据因为乱序，迟到严重，会被丢弃，这个可以查看Side Out API [1]
2.
数据产生的事件时间比当前系统时间大，我称之为“超自然数据”，比如当前系统时间是10：37：55，但数据产生的事件时间可能是10：38：55，那么一旦有这类数据到达，将会使窗口提前触发计算，导致正常数据被当做迟到数据，因而被丢弃，这个处理方式是在assignWaterMark
之前过滤掉。
- 建议: 如果是简单的ETL，尽量不要用EventTime 来处理数据
[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/stream/side_output.html*来自志愿者整理的flink邮件归档
2021-12-08 13:58:00赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
