开发者社区> 问答> 正文

用 upsert-kafka connector 作为source,会有key的插入和更新出现乱序

想消费upsert-kafka的数据,以key为主键更新到数据库里面,会不会有消息乱序导致更新结果不对的情况?*来自志愿者整理的FLINK邮件归档

展开
收起
又出bug了-- 2021-12-03 16:40:21 840 0
1 条回答
写回答
取消 提交回答
  • 如果数据在upsert-kafka中已经做到了按序存储(相同key的数据放在同一个partition内),那么flink消费的时候可以做到保序。本质上,upsert-kafka是对kafka的封装,其内部仍然是一个消息队列,只是在消费的时候,我们形成一个视图。

    消息从flink进入到kafka之中,根据kafka的协议保证了at-least-once。这里有对upsert-kafka完整的一个分析的讲解:深度解析 Flink upsert-kafka[1]。如果还有问题,可以继续咨询。

    [1]https://flink-learning.org.cn/developers/flink-training-course3/*来自志愿者整理的FLINK邮件归档

    2021-12-03 17:47:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载