最近在使用flink读取kafka读取数据的时候,遇到这么个情况:
flink任务会突然在某一个时间点卡死,进程不报错,也不会fail然后退出,只会一直卡在那里也不会kafka数据,查看jobmanager和taskmanager的日志都没有报错信息,只有启动任务时候的信息或者要我设置要print的一些信息。
我的代码逻辑大概是这样:从kafka读取数据,会经过cep进行匹配,然后选取匹配命中的数据,进行聚合操作,以及窗口函数的自定义操作。
配置大概为: 2G的JobManager,2*8G的TaskManager,并行度总共为4 Kafka的数据量大概:每秒5000左右。
主要是查了很多日志没有报错信息,本身job也不会fail,这个情况让我比较挠头。请问有朋友遇到过这种情况吗?或者希望能给到更多的建议。非常谢谢*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。