开发者社区> 问答> 正文

flink读取kafka数据进程卡死怎么办呢?

最近在使用flink读取kafka读取数据的时候,遇到这么个情况:

flink任务会突然在某一个时间点卡死,进程不报错,也不会fail然后退出,只会一直卡在那里也不会kafka数据,查看jobmanager和taskmanager的日志都没有报错信息,只有启动任务时候的信息或者要我设置要print的一些信息。

我的代码逻辑大概是这样:从kafka读取数据,会经过cep进行匹配,然后选取匹配命中的数据,进行聚合操作,以及窗口函数的自定义操作。

配置大概为: 2G的JobManager,2*8G的TaskManager,并行度总共为4 Kafka的数据量大概:每秒5000左右。

主要是查了很多日志没有报错信息,本身job也不会fail,这个情况让我比较挠头。请问有朋友遇到过这种情况吗?或者希望能给到更多的建议。非常谢谢*来自志愿者整理的FLINK邮件归档

展开
收起
玛丽莲梦嘉 2021-12-03 18:37:41 2300 0
1 条回答
写回答
取消 提交回答
  • 打个jstack看看呢*来自志愿者整理的FLINK邮件归档

    2021-12-03 19:00:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载