异步消息组件MQ基础

简介: 本课程介绍MQ的应用场景及RabbitMQ入门,涵盖同步与异步调用区别、消息队列模型、交换机类型(Fanout、Direct、Topic)、惰性与优先级队列特性,以及消息堆积解决方案,并结合商城项目实践,帮助掌握高效解耦、流量削峰等核心技能。

学习目标

  1. 能够说出MQ的应用场景
  2. 能够编写RabbitMQ收发消息的入门程序
  3. 能够说出工作队列模型的特点
  4. 能够说出发布订阅模型的交换机类型
  5. 能够说出fanout交换机的特性
  6. 能够说出Direct交换机的特性
  7. 能够说出Topic交换机的特性
  8. 能够说出惰性队列的特性
  9. 能够说出优先级队列的特性
  10. 能够说出如何解决MQ消息堆积问题
  11. 能够在商城项目应用MQ

1.初识MQ

1.1 同步调用与异步调用

前边我们学习了微服务之间远程调用方式,通常服务端提供HTTP RESTful接口,客户端通过HTTP Client工具进行远程调用,远程调用工具有RestTemplateOpenFeign、OkHttp等技术,这些技术实现的都是一种类型即同步调用,微服务之间通信还有一种异步调用,什么是同步调用?什么是异步调用?

拿订单支付功能举例,下图表示了同步调用

支付的交互流程如下:

  1. 支付服务调用用户服务扣减余额。
  2. 余额扣减成功后支付服务更新数据库中的交易流水状态为已支付。
  3. 更新成功后支付服务调用交易服务更新订单状态为已支付。

像这种每一步调用者必须等待被调用方完全执行完毕并返回结果之后才能继续执行后续代码,叫同步调用

同步调用就是顺序执行,执行完一步再执行下一步。

什么是异步调用?

异步调用是调用者发出调用后无需等待被调用方完成就可以继续执行其他任务。

举例:

支付的交互流程如下:

  1. 支付服务调用用户服务扣减余额。
  2. 余额扣减成功后支付服务更新数据库中的交易流水状态为已支付。
  3. 更新交易流水成功支付服务向消息中间件发消息(XX订单支付成功),此时支付服务程序执行结束
  4. 消息中间件去通知交易服务更新订单状态
  5. 消息中间件去通知短信服务通知用户订单支付成功啦

上边交互流程中前3步为同步调用,后2步为异步调用

支付服务向消息中间件发过消息后不用等继续执行其它操作,这就是异步调用

现在生活中异步调用的例子很多:

餐厅点餐:

想象一下你去一家餐厅吃饭,你坐下后,服务员过来让你点菜。在这个过程中:

  • 异步调用:你告诉服务员你想要什么菜品,然后服务员把订单送到厨房。你不需要等待食物准备完成,可以继续聊天或浏览菜单。当食物准备好时,服务员会将食物端到你的桌上。
  • 同步调用:如果你必须站在厨房门口等着厨师为你准备食物,那么这就是一个同步的过程。你无法做其他事情,直到食物准备完毕。

医院挂号:

  • 异步调用:打电话挂号,接通电话你告诉工作人员挂哪个科室,工作人员让你挂断电话稍后通过手机查看挂号结果。
  • 同步调用:打电话挂号,接通电话你告诉工作人员挂哪个科室,工作人员开始查看该科室是否有号,并进行挂号,挂号结束告诉你几点来看病,最后挂断电话。

同步调用:

特点:

  • 在同步调用中,调用者必须等待被调用方完全执行完毕并返回结果之后才能继续执行后续代码。
  • 控制流是线性的,即程序按照顺序执行每个操作。
  • 如果被调用方执行时间较长,那么整个程序会处于等待状态,直到该调用完成。

适合场景:

  • 实时性要求较高的场景,例如用户界面操作。
  • 调用简单且执行快速的操作。

优点

  • 简单直观:代码易于理解和编写,因为它是按顺序执行的。
  • 易于调试:由于执行顺序明确,调试起来相对容易。

缺点

  • 阻塞执行:如果一个操作需要很长时间来完成,那么整个程序会被阻塞,不能执行其他任务。
  • 资源浪费:在等待长时间操作完成时,CPU和其他资源可能会处于空闲状态。

异步调用:

特点:

  • 在异步调用中,调用者发出调用后无需等待被调用方完成就可以继续执行其他任务。
  • 被调用方完成操作后,通常会通过回调函数、事件通知或者完成信号等方式告知调用者。
  • 可以提高程序的并发能力和响应速度

适合场景:

  • 需要处理耗时操作,例如网络请求、文件I/O等。
  • 多个操作之间不存在严格的依赖关系。
  • 对系统性能和响应时间有较高要求的应用场景。

优点

  • 提高效率:异步调用可以使程序在等待某些耗时操作完成的同时执行其他任务,提高整体执行效率。
  • 资源利用率高:在等待耗时操作时,可以释放资源给其他任务使用,避免了资源浪费。
  • 更好的用户体验:在网络应用中,用户不必等待页面加载完成就能进行其他操作,提高了用户体验。

缺点

  • 复杂性增加:异步编程通常比同步编程更复杂,因为它涉及更多的控制结构和错误处理逻辑。
  • 调试困难:由于执行路径不是线性的,调试起来相对困难。

1.2 初识MQ

异步调用方式其实就是基于消息通知的方式,一般包含三个角色:

  • 消息发送者:投递消息的人,就是原来的调用方
  • 消息Broker(消息代理/消息中间件):管理、存、转发消息,你可以把它理解成微信服务器
  • 消息接收者:接收和处理消息的人,就是原来的服务提供方

在异步调用中,发送者不再直接同步调用接收者的业务接口,而是发送一条消息投递给消息Broker。然后接收者根据自己的需求从消息Broker那里订阅消息。每当发送方发送消息后,接收者都能获取消息并处理。

这样,发送消息的人和接收消息的人就完全解耦了。

消息Broker,目前常见的实现方案就是消息队列(MessageQueue),简称为MQ.

AI:消息队列的应用场景

  1. 异步处理:
  1. 场景: 当应用程序需要执行耗时的操作(如发送电子邮件、文件上传或下载等)时,可以将这些任务发送到消息队列中,由专门的任务处理程序异步执行。
  2. 好处: 减少了用户的等待时间,提高了用户体验。
  1. 解耦:
  1. 场景: 当一个系统由多个组件组成时,这些组件之间可以使用消息队列进行通信。
  2. 好处: 单个组件的变化不会直接影响到其他组件,提高了系统的可扩展性。
  1. 流量削峰
  1. 场景:在许多互联网应用和服务中,尤其是那些具有明显周期性流量特征的应用(如电商平台、社交网络等),常常会遇到流量突增的情况。例如,在电商促销期间,大量的用户会在短时间内访问网站并提交订单,这种短时间内产生的巨大流量可能会导致服务器过载,影响用户体验甚至导致服务不可用。
  2. 好处:当流量激增时接收到请求会被暂时存储在消息队列中,而不是直接发送到后端服务进行处理。这样做可以避免后端服务因为短时间内处理大量请求而过载。后端服务可以从消息队列中按需拉取消息进行处理。这种异步处理机制可以有效地分散流量峰值,确保后端服务的稳定运行。如下图:

目比较常见的MQ实现:

几种常见MQ的对比:

  • 追求可靠性:RabbitMQ、RocketMQ
  • 追求吞吐(高并发)能力:RocketMQ、Kafka
  • 追求消息低延迟:RabbitMQ、Kafka

这四种的MQ在市场都是非常流行,本课程讲解RabbitMQ。

Spring Boot默认支持AMQP协议,RabbitMQ支持AMQP协议 。

相关文章
|
缓存 中间件 流计算
如何解决 Netty Channel.isWritable 返回 false
在 Netty 里,有4个方法用来查询 Channel 的状态:isOpen,isRegistered,isActive,isWritable,其中,isWritable 在并发量很高时会返回很多 false。 isWritable 是什么含义? isWritable:Returns true if and only if the I/O thread will perform the req
3161 0
如何解决 Netty Channel.isWritable 返回 false
|
4月前
|
监控 Java 测试技术
OOM排查之路:一次曲折的线上故障复盘
本文记录了一次Paimon数据湖与RocksDB集成服务线上频繁OOM的排查历程。通过分析线程暴增、堆外内存泄漏,最终定位到SDK中RocksDB的JNI内存未释放问题,并借助Flink重构写入链路彻底解决。分享了MAT、NMT、async-profiler等工具的实战经验与排查思路,为类似技术栈提供借鉴。
OOM排查之路:一次曲折的线上故障复盘
|
4月前
|
人工智能 JSON 数据挖掘
大模型应用开发中MCP与Function Call的关系与区别
MCP与Function Call是大模型应用中两大关键技术。前者为跨模型标准化通信协议,实现工具与模型解耦;后者是模型调用外部功能的内置机制。二者互补协作,推动AI应用向更开放、灵活、可扩展的方向发展。
|
22天前
|
存储 自然语言处理 并行计算
大模型应用:大模型量化:INT4与INT8核心差异、选型指南及代码实现.53
本文深入解析大模型INT4与INT8量化技术:从“缩放+映射”本质出发,对比二者在压缩率(75% vs 87.5%)、精度(256 vs 16离散值)、显存占用及适用场景的差异;详解scale/zero_point参数原理,并提供BitsAndBytes实战代码,助力高效本地部署。
505 6
|
22天前
|
机器学习/深度学习 人工智能 安全
外墙裂缝目标检测数据集(6000+ 张图片已划分、已标注)| AI训练适用于目标检测任务
为了支持相关研究与工程应用,本文整理并发布 外墙裂缝目标检测数据集(6000+ 张高质量图像)。该数据集面向 建筑结构安全监测与智能巡检应用场景 构建,可用于 YOLO、RT-DETR、Faster R-CNN 等多种深度学习目标检测模型的训练与评估。
|
1月前
|
人工智能 数据库 知识图谱
医疗垂直领域生成式搜索优化(GEO):基于 RAG 与知识图谱的召回增强架构实战
本文提出医疗垂直领域生成式搜索优化(GEO)新范式,融合Schema结构化标记、知识图谱映射与RAG召回增强技术,显著提升非公医疗机构信息的有效召回率与语义一致性。实测显示mAP提升225%,事实一致性达98.5%。(239字)
163 5
|
3月前
|
人工智能 监控 测试技术
AI Agent 职业路线:人机协作时代的技术人进阶体系与实践方法
本文提出AI Agent时代技术人的职业进阶框架:从“工具使用者”转向“智能体协作者/管理者”,构建范式转移、职业分层(执行层/协作者/集群管理者)、核心能力(需求拆解、批判校验、持续调优)与进阶路径(单点落地→多Agent编排→集群治理)四大维度,强调人机共生下的不可替代性。(239字)
193 1
|
4月前
|
JavaScript Java 数据库连接
中阶段 低代码平台芋道:代码本地运行(☆)
新人入职需拉取项目代码并本地运行,常见问题如JDK、Maven、IDEA版本选择。项目基于Spring Boot + MyBatis Plus + Vue + Element,含RBAC权限、多租户、工作流等功能。需理解技术栈、核心功能与数据库设计,并录制8分钟以上讲解视频,提出未懂问题,快速融入团队。
|
9月前
|
人工智能 自然语言处理 供应链
AI时代企业难以明确大模型价值,AI产品经理如何绘制一张‘看得懂、讲得通、落得下’的AI产品架构图解决这一问题?
本文产品专家系统阐述了AI产品经理如何绘制高效实用的AI产品架构图。从明确企业六大职能切入,通过三层架构设计实现技术到业务的精准转译。重点解析了各职能模块的AI应用场景、通用场景及核心底层能力,并强调建立"需求-反馈"闭环机制。AI产品专家三桥君为AI产品经理提供了将大模型能力转化为商业价值的系统方法论,助力企业实现AI技术的业务落地与价值最大化。
471 0