RT-DETR改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互

简介: RT-DETR改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互

一、本文介绍

本文记录的是基于FCAttention模块的RT-DETR目标检测改进方法研究FCAttention是图像去雾领域新提出的模块能够==有效整合全局和局部信息、合理分配权重的通道注意力机制,使得网络能够更准确地强调有用特征,抑制不太有用的特征==,在目标检测领域中同样有效。


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、FCA原理

用于图像去雾的无监督双向对比重建和自适应细粒度通道注意网络

FCA(Adaptive Fine - Grained Channel Attention)模块设计的原理及优势如下:

2.1 原理

  • 特征图处理:首先,对包含全局空间信息的特征图F进行全局平均池化,将其转换为通道描述符U,用于获取通道信息。具体公式为:$U{n}=GAP(F{n})=\frac{1}{H×W}\sum{i=1}^{H}\sum{j=1}^{W}F_{n}(i, j)$,其中$F \in \mathbb{R}^{C×H×W}$,$C$、$H$和$W$分别代表通道数、长度和宽度,$U \in \mathbb{R}^{C}$,$GAP(x)$为全局平均 pooling 函数。
  • 局部信息获取:为了在获取少量模型参数的同时获得局部通道信息,使用带矩阵B进行局部通道交互,设置$B=[b{1}, b{2}, b{3},..., b{k}]$,通过$U{lc}=\sum{i=1}^{k}U\cdot b{i}$计算局部信息$U{lc}$,其中$U$为通道描述符,$k$为相邻通道数。
  • 全局信息获取:利用对角矩阵D捕获所有通道之间的依赖关系作为全局信息,设置$D=[d{1}, d{2}, d{3},..., d{c}]$,通过$U{gc}=\sum{i=1}^{c}U\cdot d{i}$计算全局信息$U{gc}$,其中$c$为通道数。
  • 相关性捕获:通过交叉相关操作将全局信息$U{gc}$与局部信息$U{lc}$相结合,得到相关性矩阵$M = U{gc}\cdot U{lc}^{T}$,以捕获两者在不同粒度上的相关性。
  • 自适应融合:从相关性矩阵及其转置中提取行和列信息作为全局和局部信息的权重向量,通过可学习因子实现动态融合。具体公式为:$U{gc}^{w}=\sum{j}^{c}M{i, j}, i \in 1,2,3...c$,$U{lc}^{w}=\sum{j}^{c}(U{lc}\cdot U{gc}^{T}){i, j}=\sum{j}^{c}M^{T}{i, j}, i \in 1,2,3...c$,$W=\sigma(\sigma(\theta)×\sigma(U{gc}^{w})+(1 - \sigma(\theta))×\sigma(U{lc}^{w}))$,其中$U{gc}^{w})和(U{lc}^{w}$为融合后的全局和局部通道权重,$\theta$表示sigmoid激活函数。
  • 权重应用:将得到的权重与输入特征图相乘,得到最终输出特征图,即$\tau^{ }=W \otimes F$,其中$F$为输入特征图,$F^{ }$为最终输出特征图。

在这里插入图片描述

2.2 优势

  • 有效整合信息:能够有效整合全局和局部信息,通过相关性矩阵捕获两者在不同粒度上的相关性,促进了全局和局部信息的有效交互。
  • 合理分配权重:采用自适应融合策略,避免了局部和全局信息之间冗余的交叉相关操作,进一步促进了它们的交互,能够更精确地为去雾相关特征分配权重。
  • 提升去雾性能:在网络去雾过程中,充分利用全局和局部通道信息,提高了网络去雾性能,使得网络能够更准确地强调有用特征,抑制不太有用的特征。

论文:https://doi.org/10.1016/j.neunet.2024.106314
源码:https://github.com/Lose-Code/UBRFC-Net

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144129420

目录
相关文章
|
1天前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
76 62
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块,获取局部和全局信息
|
1天前
|
机器学习/深度学习 计算机视觉 知识图谱
RT-DETR改进策略【Conv和Transformer】| 上下文转换器CoT 结合静态和动态上下文信息的注意力机制 (含二次创新)
RT-DETR改进策略【Conv和Transformer】| 上下文转换器CoT 结合静态和动态上下文信息的注意力机制 (含二次创新)
32 11
RT-DETR改进策略【Conv和Transformer】| 上下文转换器CoT 结合静态和动态上下文信息的注意力机制 (含二次创新)
|
3天前
|
机器学习/深度学习 资源调度 Java
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
12 1
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
|
1天前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【注意力机制篇】| GAM全局注意力机制: 保留信息以增强通道与空间的相互作用
RT-DETR改进策略【注意力机制篇】| GAM全局注意力机制: 保留信息以增强通道与空间的相互作用
14 3
RT-DETR改进策略【注意力机制篇】| GAM全局注意力机制: 保留信息以增强通道与空间的相互作用
|
1天前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含HGBlock二次创新)
RT-DETR改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含HGBlock二次创新)
9 2
RT-DETR改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含HGBlock二次创新)
|
2天前
|
计算机视觉
RT-DETR改进策略【卷积层】| 2024最新轻量级自适应提取模块 LAE 即插即用 保留局部信息和全局信息
RT-DETR改进策略【卷积层】| 2024最新轻量级自适应提取模块 LAE 即插即用 保留局部信息和全局信息
18 4
RT-DETR改进策略【卷积层】| 2024最新轻量级自适应提取模块 LAE 即插即用 保留局部信息和全局信息
|
1天前
|
机器学习/深度学习 资源调度 数据可视化
RT-DETR改进策略【注意力机制篇】| 引入Shuffle Attention注意力模块,增强特征图的语义表示
RT-DETR改进策略【注意力机制篇】| 引入Shuffle Attention注意力模块,增强特征图的语义表示
25 4
RT-DETR改进策略【注意力机制篇】| 引入Shuffle Attention注意力模块,增强特征图的语义表示
|
1天前
|
机器学习/深度学习 资源调度 计算机视觉
RT-DETR改进策略【注意力机制篇】| NAM 即插即用模块,重新优化通道和空间注意力(含HGBlock二次创新)
RT-DETR改进策略【注意力机制篇】| NAM 即插即用模块,重新优化通道和空间注意力(含HGBlock二次创新)
10 1
RT-DETR改进策略【注意力机制篇】| NAM 即插即用模块,重新优化通道和空间注意力(含HGBlock二次创新)
|
1天前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
RT-DETR改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
9 1
RT-DETR改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
|
1天前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【注意力机制篇】| CVPR2024 CAA上下文锚点注意力机制
RT-DETR改进策略【注意力机制篇】| CVPR2024 CAA上下文锚点注意力机制
9 1
RT-DETR改进策略【注意力机制篇】| CVPR2024 CAA上下文锚点注意力机制

热门文章

最新文章