kafka-消息一致性--连通器原理

简介: kafka通过多副本架构来保证数据的稳定性,这就必然会产生数据同步滞后的问题,因此保证数据一致性是一个关键因素。kafka通过连通器原理(注:连通器原理并非官方用词,是作者本人阅读时觉得和物理学的连通器原理比较相似,所以自行命名为连通器原理)的模式来保证数据的一致性。

kafka通过多副本架构来保证数据的稳定性,这就必然会产生数据同步滞后的问题,因此保证数据一致性是一个关键因素。kafka通过连通器原理(注:连通器原理并非官方用词,是作者本人阅读时觉得和物理学的连通器原理比较相似,所以自行命名为连通器原理)的模式来保证数据的一致性。

连通器原理图.png

  • 副本:即存储在broker中的消息数据。包括leader副本和flower副本,其中leader副本只有一份,flower副本有n份
  • AR:分区中所有的副本统称为AR(Assigned Replicas)。 AR = ISR+OSR
  • ISR:所有与leader副本保持一致的副本称为ISR(In Sync Replicas)。ISR与AR保持一致只是相对的,所有副本与leader副本必然存在滞后,我们将可接受的滞后范围当作完全一致。(滞后时长可以通过参数配置)
  • OSR:所有与leader副本存在滞后的副本,称之为OSR(Out of Sync Replicas)
  • HW:高水位,消费者可以拉取的最新的消息。标识了所有副本均已完成同步的最小消息位
  • LEO:当前副本存储的消息位。每个副本都唯一一个自己的LEO,所有副本集中LEO最小的即为HW。
目录
相关文章
|
4月前
|
消息中间件 存储 负载均衡
kafka底层原理分析
kafka底层原理分析
77 2
|
27天前
|
消息中间件 Kafka 数据库
深入理解Kafka的数据一致性原理及其与传统数据库的对比
【8月更文挑战第24天】在分布式系统中,确保数据一致性至关重要。传统数据库利用ACID原则保障事务完整性;相比之下,Kafka作为高性能消息队列,采用副本机制与日志结构确保数据一致性。通过同步所有副本上的数据、维护消息顺序以及支持生产者的幂等性操作,Kafka在不牺牲性能的前提下实现了高可用性和数据可靠性。这些特性使Kafka成为处理大规模数据流的理想工具。
43 6
|
29天前
|
消息中间件 存储 SQL
Kafka架构及其原理
Kafka架构及其原理
68 1
|
1月前
|
消息中间件 存储 缓存
这么酷的Kafka,背后的原理了解一下又不会死!
这么酷的Kafka,背后的原理了解一下又不会死!
|
2月前
|
消息中间件 存储 缓存
深入理解Kafka核心设计及原理(五):消息存储
深入理解Kafka核心设计及原理(五):消息存储
76 8
|
2月前
|
消息中间件 存储 Kafka
深入理解Kafka核心设计及原理(四):主题管理
深入理解Kafka核心设计及原理(四):主题管理
58 8
|
2月前
|
消息中间件 存储 负载均衡
深入理解Kafka核心设计及原理(三):消费者
深入理解Kafka核心设计及原理(三):消费者
63 8
|
2月前
|
消息中间件 存储 缓存
深入理解Kafka核心设计及原理(二):生产者
深入理解Kafka核心设计及原理(二):生产者
62 8
|
2月前
|
消息中间件 存储 容灾
深入理解Kafka核心设计及原理(一):初识Kafka
深入理解Kafka核心设计及原理(一):初识Kafka
102 7
|
2月前
|
消息中间件 存储 监控
深入理解Kafka核心设计及原理(六):Controller选举机制,分区副本leader选举机制,再均衡机制
深入理解Kafka核心设计及原理(六):Controller选举机制,分区副本leader选举机制,再均衡机制
58 1