工作八年?是高级开发?竟然答不出:如何保证RabbitMQ的高可用?

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 一个8年工作经验的小伙伴,被问到这样一个问题,说如何保证RabbitMQ的高可用。关于这个问题呢,这位小伙伴倒是有个实操经验,就是不知道如何组织语言。所以,当时面试结果不太理想。今天,我给大家分享一下我的理解。

一个8年工作经验的小伙伴,被问到这样一个问题,说如何保证RabbitMQ的高可用。关于这个问题呢,这位小伙伴倒是有个实操经验,就是不知道如何组织语言。所以,当时面试结果不太理想。今天,我给大家分享一下我的理解。

1、实现思路

所谓高可用呢,就是指分布式系统中,如果出现某些节点不可用的情况下,要保证客户端依旧还能够连接到其他节点,而不至于影响业务的执行。我主要从以下两个方面来实现高可用,一个是集群部署,一个是负载均衡。

6f56bc23b3b00be3d550ca3098b4c04a.jpg

RabbitMQ是用Erlang语言编写的,而Erlang天生具备分布式的特性,所以不需要通过引入ZK来实现服务协调。它是使用.erlang.cookie来验证身份,它通过25672端口来实现集群。这个cookie就像暗号一样,只要喊出清楚明白666,就知道是Tom的粉丝。


另外,RabbitMQ的集群节点有两种,一种是磁盘节点(Disc Node),一种是内存节点(RAM Node)。在集群环境中至少需要一个磁盘节点用来持久化元数据,否则,当全部内存节点崩溃时,就无从同步元数据。


下面,分享一下RabbitMQ的集群模式,分别是普通集群模式和镜像队列模式。先来看普通集群模式。

2、普通集群

普通集群模式下,不同的节点之间只会相互同步元数据,而不会同步消息内容。

10ddf9c0c27540607463df4f708d348c.jpg

如图所示,队列A的消息只存储在A节点上。B节点和C节点同步了队列A的元数据,但是没有同步队列中的内容。


假如生产者连接的是C节点,要将消息通过交换机A路由到队列A,最终消息还是会转发到A节点上存储,因为队列A存储在A节点上。


同理,如果消费者连接是B节点,同样也要从队列A上拉取消息,消息会从A节点转发到节点B。其它节点只是起到一个路由的作用。


这样做的好处是,可以节约存储和同步数据的网络开销。但如果需要保证队列的高可用性,这时候,就需要用到镜像集群的模式。

3、镜像集群

下面来看镜像集群模式,如图所示,

6ac6eee9de5fae42981f5068dc11c525.jpg

其实也非常好理解,在镜像队列模式下,消息内容会在所有的镜像节点间同步,可用性更高。不过也有一定的副作用,系统性能会降低,节点过多的情况下同步数据的代价会比较大。

4、负载均衡

集群搭建成功后,要保证高可用,还需要一个负载均衡的组件(例如HAProxy,LVS,Nignx),由负载的组件来做路由。对于,生产者或者消费者而言,只需要连接到负载组件的虚拟IP地址就可以了。


这个负载均衡组件需要满足以下几个条件:


1、它本身有负载功能,可以监控集群中节点的状态,如果某个节点出现异常或者发生故障,就把它剔除掉。


2、为了提高可用性,要能够支持部署多个服务,能够自主完成Master选举


3、Master节点需要对外提供一个虚拟IP,客户端只需要连接到这一个虚拟IP就可以自动完成真实IP的路由。


下面我以HAProxy加Keepalived组合,来实现RabbitMQ的高可用,具体架构如图所示:

96316306233a5ed24e68d1c01666e69a.jpg

当然,实现高可用的方案还有很多,比如我们还可以用LVS,Nignx等等来实现负载均衡。


关于RabbitMQ的高可用方案我就分享这么。我分享的这个方案,不仅仅只适用于RabbitMQ,其实还可以应用于大部分的分布式高可用场景。小伙伴们如果你还有其他更加牛B的方案,可以在评论区告诉我相互学习一下。


我是被编程耽误的文艺Tom,关注我,面试不再难!

ceefc1f0065a4d4793c6445bab516a79.gif





相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
6月前
|
消息中间件 存储 Java
RabbitMQ之发布确认高级
【1月更文挑战第10天】 在生产环境中由于一些不明原因,导致 rabbitmq 重启,在 RabbitMQ 重启期间生产者消息投递失败,导致消息丢失,需要手动处理和恢复。于是,我们开始思考,如何才能进行 RabbitMQ 的消息可靠投递呢?特别是在这样比较极端的情况,RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢:
224 9
|
6月前
|
消息中间件 安全 Java
【RabbitMQ高级篇】消息可靠性问题
【RabbitMQ高级篇】消息可靠性问题
147 0
|
6月前
|
消息中间件 存储 运维
|
3月前
|
消息中间件 存储 算法
一文详解 RocketMQ 如何利用 Raft 进行高可用保障
本文介绍 RocketMQ 如何利用 Raft(一种简单有效的分布式一致性算法)进行高可用的保障,总结了 RocketMQ 与 Raft 的前世今生。可以说 Raft 的设计给 RocketMQ 的高可用注入了非常多的养分,RocketMQ 的共识算法与高可用设计在 2023 年也得到了学术界的认可,被 CCF-A 类学术会议 ASE 23' 录用。
408 10
|
5月前
|
消息中间件 Java Kafka
SpringBoot实用开发篇第六章(整合第三方技术,ActiveMQ,RabbitMQ,RocketMQ,Kafka)
SpringBoot实用开发篇第六章(整合第三方技术,ActiveMQ,RabbitMQ,RocketMQ,Kafka)
|
5月前
|
消息中间件 存储 Java
后端开发Spring框架之消息介绍 同步异步 JMS AMQP MQTT Kafka介绍
后端开发Spring框架之消息介绍 同步异步 JMS AMQP MQTT Kafka介绍
37 0
|
6月前
|
消息中间件 存储 运维
深入理解MQ消息队列的高可用与可靠性策略
深入理解MQ消息队列的高可用与可靠性策略
1335 3
|
5月前
|
监控 网络协议 C#
一款基于C#开发的通讯调试工具(支持Modbus RTU、MQTT调试)
一款基于C#开发的通讯调试工具(支持Modbus RTU、MQTT调试)
|
6月前
|
消息中间件 存储 Java
RabbitMQ——高级篇
RabbitMQ——高级篇
53 0
|
6月前
|
消息中间件 存储 Java
RabbitMQ高级
RabbitMQ高级
42 0

热门文章

最新文章