flink接入Kafka断点续传问题

测试:flink-Kafka,测试生产10条消息,flink接入Kafka进行消费,消费到中间的消息,日志有输出completed checkpoint ,停掉项目,此时再重启项目,不会从未消费的消息消费,还是会从第一条消息开始消费。十条消息全部结束后,有completed check point 输出,此时停机重启,offset会被提交,不会再重复消费

展开
收起
游客5iuaxld65fodc 2024-11-12 19:09:25 96 分享 版权
1 条回答
写回答
取消 提交回答
  • 您可以配置Flink的Checkpoint功能来实现Kafka消费的断点续传,确保在处理失败时可以从上次停止的地方继续处理。详细配置请参考阿里云官方文档:Flink集成Kafka进行实时数据处理。如果需要进一步的帮助,建议咨询一下阿里云的工作人员。如果对您有帮助的话,可以帮忙采纳一下。谢谢。

    2025-02-10 15:35:56
    赞同 54 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理