Kafka流程流转-服务端

简介: kafka分为客户端和服务端,通常我们知道broker是服务端,而生产者和消费者作为客户端。因此在服务端就必定需要解决并发和网络IO的问题。因此不可避免需要用到SocketChannel和ServerSocketChannel,可以看到kafka就使用了ServerSocketChannel,采用Netty来解决这个问题,这里socketServer采用了1个Acceptor,多个Processor。同时将请求发送到请求通道RequestChannel中。而我们知道RequestChannel中有一个请求队列和多个响应队列,通常响应队列是3个,这个参数是在kafka的配置中配置的。通过kafk

     kafka分为客户端和服务端,通常我们知道broker是服务端,而生产者和消费者作为客户端。因此在服务端就必定需要解决并发和网络IO的问题。因此不可避免需要用到SocketChannel和ServerSocketChannel,可以看到kafka就使用了ServerSocketChannel,采用Netty来解决这个问题,这里socketServer采用了1个Acceptor,多个Processor。同时将请求发送到请求通道RequestChannel中。而我们知道RequestChannel中有一个请求队列和多个响应队列,通常响应队列是3个,这个参数是在kafka的配置中配置的。通过kafka请求处理池进行请求转发,将请求转发到KafkaApis中,然后kafkaApis根据请求进行具体处理。而kafkaApis的请求处理依赖偏移量管理OffsetManager、LogManager、ReplicaManager等。

      而我们知道在KafkaServer中除了上面的操作,还有Controller的操作,首先会创建KafkaController对象,这个过程中会创建一个ControllerContext,用于缓存控制器中的各种处理数据,包括选举次数、代理列表、主题列表、各个主题分区等以及状态机。然后进行KafkaController的初始化操作,在这个过程中需要首先经过ZookeeperLeaderElector选举,分为两种情况:当前控制器选举成功和选举失败,如果当前控制器选举成功则调用onControllerFailOver方法,如果当前控制器选举失败,则调用onControllerResignation方法。

       选举过程中,是以leaderId是否为-1进行判断的,如果是-1,这说明没有成功选举出Leader,如果不为-1,则说明已经选举出Leader,此时会调用onBecomingLeader方法。

      Kafka的健康检测是通过KafkaHealthCheck中在zookeeper上创建瞬时节点来实现的,如果存在瞬时节点,则说明健康,否者说明不健康。而在RocketMQ中,则是通过发送心跳包来进行判断是否健康的。

微信图片_20221214030100.png


目录
相关文章
|
7月前
|
消息中间件 大数据 Kafka
【Kafka】Kafka 中生产者运行流程
【4月更文挑战第10天】【Kafka】Kafka 中生产者运行流程
|
5月前
|
消息中间件 负载均衡 Kafka
Kafka消费组重新平衡流程
Kafka消费组重新平衡流程
|
2月前
|
消息中间件 存储 分布式计算
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
41 4
|
2月前
|
消息中间件 缓存 大数据
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
46 3
|
5月前
|
消息中间件 存储 缓存
面试题Kafka问题之Kafka的生产消费基本流程如何解决
面试题Kafka问题之Kafka的生产消费基本流程如何解决
47 1
|
5月前
|
消息中间件 Kafka 程序员
彻底搞懂Kafka生产消费流程,这篇文章就够了!
```markdown 🚀 Kafka 生产消费流程揭秘:Producer 创建守护线程Sender,消息经拦截器→序列化器→分区器→缓冲区。批量发送基于batch.size或linger.ms条件。acks参数控制可靠性,从0(最快但不可靠)到all(最可靠)。消息重试和元数据返回确保不丢失。关注“软件求生”公众号,探索更多技术! ```
192 1
|
7月前
|
消息中间件 存储 缓存
Kafka - 3.x 图解Broker总体工作流程
Kafka - 3.x 图解Broker总体工作流程
266 0
|
7月前
|
消息中间件 Kafka API
Kafka - 图解生产者消息发送流程
Kafka - 图解生产者消息发送流程
178 0
|
7月前
|
消息中间件 Kafka
kafka写入和消费流程
kafka写入和消费流程
164 0
|
7月前
|
消息中间件 存储 中间件
Greenplum GPKafka【部署 01】使用GPKafka实现Kafka数据导入Greenplum数据库完整流程分享(扩展安装文件网盘分享)
Greenplum GPKafka【部署 01】使用GPKafka实现Kafka数据导入Greenplum数据库完整流程分享(扩展安装文件网盘分享)
78 0

热门文章

最新文章