开发者社区> 问答> 正文

关于upsert-kafka connector的问题,如何解决?

用 upsert-kafka connector 作为source,会有key的插入和更新出现乱序导致结果不准的问题吗?*来自志愿者整理的flink

展开
收起
毛毛虫雨 2021-12-05 21:57:43 797 0
1 条回答
写回答
取消 提交回答
  • 如果数据在upsert-kafka中已经做到了按序存储(相同key的数据放在同一个partition内),那么flink消费的时候可以做到保序。本质上,upsert-kafka是对kafka的封装,其内部仍然是一个消息队列,只是在消费的时候,我们形成一个视图。消息从flink进入到kafka之中,根据kafka的协议保证了at-least-once。如果还有问题,可以继续咨询!*来自志愿者整理的flink

    2021-12-05 22:44:01
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载