YOLOv11改进策略【注意力机制篇】| EMA注意力 即插即用模块,提高远距离建模依赖

简介: YOLOv11改进策略【注意力机制篇】| EMA注意力 即插即用模块,提高远距离建模依赖

一、本文介绍

本文记录的是基于EMA模块的YOLOv11目标检测改进方法研究EMA认为跨维度交互有助于通道或空间注意力预测,并且解决了现有注意力机制在提取深度视觉表示时可能带来的维度缩减问题。==在改进YOLOv11的过程中能够为高级特征图产生更好的像素级注意力,能够建模长程依赖并嵌入精确的位置信息。==


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、EMA原理

Efficient Multi-Scale Attention Module with Cross-Spatial Learning

EMA(Efficient Multi - Scale Attention)注意力模块的设计的原理和优势如下:

2.1 EMA原理

2.1.1 Coordinate Attention(CA)

CA通过全局平均池化操作建模跨通道信息,将原始输入张量分解为两个并行的1D特征编码向量,嵌入空间位置信息到通道注意力图中,以增强特征聚合。但CA忽略了整个空间位置间交互的重要性,且1x1卷积核的有限感受野不利于建模局部跨通道交互和利用上下文信息。

2.1.2 Multi - Scale Attention(EMA)模块

  • 特征分组:对于输入特征图$X \in \mathbb{R}^{C \times H \times W}$,EMA将其在通道维度方向上划分为$G$个子特征$X = [X{0}, X{1}, \ldots, X{G - 1}]$,$X{i} \in \mathbb{R}^{C / G \times H \times W}$,假设学习到的注意力权重描述符将用于增强每个子特征中感兴趣区域的特征表示。
  • 并行子网络EMA采用三个并行路线来提取分组特征图的注意力权重描述符,其中两个在1x1分支,第三个在3x3分支。在1x1分支中,通过两个1D全局平均池化操作分别沿两个空间方向编码通道信息,并将G组重塑和置换到批处理维度,使两个编码特征共享无维度缩减的1x1卷积。在3x3分支中,通过一个3x3卷积捕获多尺度特征表示。这样,EMA不仅编码了通道间信息来调整不同通道的重要性,还将精确的空间结构信息保留到通道中。
  • 跨空间学习:引入两个张量,分别是1x1分支和3x3分支的输出。利用2D全局平均池化在1x1分支的输出中编码全局空间信息,并在通道特征的联合激活机制前将另一个分支的输出转换为对应维度形状。通过矩阵点积操作得到第一个空间注意力图,再类似地得到第二个空间注意力图。最后,每个组内的输出特征图通过两个生成的空间注意力权重值的聚合计算得到,捕获像素级成对关系并突出所有像素的全局上下文。

在这里插入图片描述

2.2 特点

  • 建立多尺度并行子网络:采用并行子结构,避免了更多的顺序处理和大深度,有利于有效建立短程和长程依赖,以获得更好的性能。
  • 避免维度缩减:仅选取CA模块中1x1卷积的共享组件,避免了在卷积操作中进行通道维度缩减,从而更有效地学习有效的通道描述。
  • 融合跨空间信息:通过跨空间学习方法,融合了不同尺度的上下文信息,使CNN能够为高级特征图产生更好的像素级注意力,能够建模长程依赖并嵌入精确的位置信息。
  • 高效且有效:与其他注意力方法(如CBAM、NAM、SA、ECA和CA)相比,EMA不仅在性能上取得了更好的结果,而且在所需参数方面更高效。在多个数据集(如CIFAR - 100、ImageNet - 1k、COCO和VisDrone2019)上的实验表明,EMA在图像分类和对象检测任务中都具有优势,模型复杂度相对较小,且在不同的基准模型(如ResNet50/101和MobileNetV2)上集成时均能有效提升性能。

论文:https://doi.org/10.1016/j.neunet.2024.106314
源码:https://github.com/Lose-Code/UBRFC-Net

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/142656654

目录
相关文章
|
9月前
|
机器学习/深度学习
YOLOv8改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
YOLOv8改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
411 1
|
9月前
|
机器学习/深度学习
YOLOv5改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
YOLOv5改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
546 0
|
3天前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
21 7
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
|
15小时前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
YOLOv11改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
6 1
YOLOv11改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
|
15小时前
|
机器学习/深度学习 编解码 计算机视觉
YOLOv11改进策略【注意力机制篇】| CVPRW-2024 分层互补注意力混合层 H-RAMi 针对低质量图像的特征提取模块
YOLOv11改进策略【注意力机制篇】| CVPRW-2024 分层互补注意力混合层 H-RAMi 针对低质量图像的特征提取模块
8 1
YOLOv11改进策略【注意力机制篇】| CVPRW-2024 分层互补注意力混合层 H-RAMi 针对低质量图像的特征提取模块
|
15小时前
|
机器学习/深度学习 资源调度 计算机视觉
YOLOv11改进策略【注意力机制篇】| NAM注意力 即插即用模块,重新优化通道和空间注意力
YOLOv11改进策略【注意力机制篇】| NAM注意力 即插即用模块,重新优化通道和空间注意力
9 2
YOLOv11改进策略【注意力机制篇】| NAM注意力 即插即用模块,重新优化通道和空间注意力
|
15小时前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含C2PSA二次创新)
YOLOv11改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含C2PSA二次创新)
7 2
YOLOv11改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含C2PSA二次创新)
|
15小时前
|
机器学习/深度学习 数据可视化 计算机视觉
YOLOv11改进策略【注意力机制篇】| 2024 SCSA-CBAM 空间和通道的协同注意模块
YOLOv11改进策略【注意力机制篇】| 2024 SCSA-CBAM 空间和通道的协同注意模块
9 2
YOLOv11改进策略【注意力机制篇】| 2024 SCSA-CBAM 空间和通道的协同注意模块
|
15小时前
|
机器学习/深度学习 资源调度 数据可视化
YOLOv11改进策略【注意力机制篇】| 引入Shuffle Attention注意力模块,增强特征图的语义表示
YOLOv11改进策略【注意力机制篇】| 引入Shuffle Attention注意力模块,增强特征图的语义表示
11 1
YOLOv11改进策略【注意力机制篇】| 引入Shuffle Attention注意力模块,增强特征图的语义表示
|
15小时前
|
机器学习/深度学习 资源调度 Java
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
8 1
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互