开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink消费kafka过一段时间后,不提交offset,日志只有这个为什么?

Flink 1.15.2 开启checkpoint 消费kafka ,过一段时间后,不提交offset,日志只有warn:Commit offsets failed with retriable exception. You should retry committing offsetskafka ,大家有遇到嘛? kafka一直有数据。

展开
收起
三分钟热度的鱼 2023-08-29 19:36:48 497 0
1 条回答
写回答
取消 提交回答
  • Flink 消费 Kafka 不提交 offset,可能有以下几个原因:

    用户没有设置 flink.kafka.consumer.commit.interval.ms 配置项,或者设置的值太大。
    用户设置了 flink.kafka.consumer.max.poll.records 配置项,并且这个值小于 flink.kafka.consumer.commit.interval.ms 配置项的值。
    Flink 集群发生了故障,导致 offset 提交失败。
    你可以尝试以下步骤解决这个问题:

    检查 flink.kafka.consumer.commit.interval.ms 配置项的值,如果设置的值太大,可以将值设置小一些。
    检查 flink.kafka.consumer.max.poll.records 配置项的值,如果设置的值小于 flink.kafka.consumer.commit.interval.ms 配置项的值,可以将值设置大一些。
    检查 Flink 集群的状态,如果集群发生了故障,可以重启集群。

    2023-09-28 10:14:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载