一、本文介绍
本文记录的是基于FCAttention模块的RT-DETR目标检测改进方法研究。FCAttention
是图像去雾领域新提出的模块能够==有效整合全局和局部信息、合理分配权重的通道注意力机制,使得网络能够更准确地强调有用特征,抑制不太有用的特征==,在目标检测领域中同样有效。
专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!
二、FCA原理
用于图像去雾的无监督双向对比重建和自适应细粒度通道注意网络
FCA(Adaptive Fine - Grained Channel Attention)
模块设计的原理及优势如下:
2.1 原理
- 特征图处理:首先,对包含全局空间信息的特征图F进行全局平均池化,将其转换为通道描述符U,用于获取通道信息。具体公式为:$U{n}=GAP(F{n})=\frac{1}{H×W}\sum{i=1}^{H}\sum{j=1}^{W}F_{n}(i, j)$,其中$F \in \mathbb{R}^{C×H×W}$,$C$、$H$和$W$分别代表通道数、长度和宽度,$U \in \mathbb{R}^{C}$,$GAP(x)$为全局平均 pooling 函数。
- 局部信息获取:为了在获取少量模型参数的同时获得局部通道信息,使用带矩阵B进行局部通道交互,设置$B=[b{1}, b{2}, b{3},..., b{k}]$,通过$U{lc}=\sum{i=1}^{k}U\cdot b{i}$计算局部信息$U{lc}$,其中$U$为通道描述符,$k$为相邻通道数。
- 全局信息获取:利用对角矩阵D捕获所有通道之间的依赖关系作为全局信息,设置$D=[d{1}, d{2}, d{3},..., d{c}]$,通过$U{gc}=\sum{i=1}^{c}U\cdot d{i}$计算全局信息$U{gc}$,其中$c$为通道数。
- 相关性捕获:通过交叉相关操作将全局信息$U{gc}$与局部信息$U{lc}$相结合,得到相关性矩阵$M = U{gc}\cdot U{lc}^{T}$,以捕获两者在不同粒度上的相关性。
- 自适应融合:从相关性矩阵及其转置中提取行和列信息作为全局和局部信息的权重向量,通过可学习因子实现动态融合。具体公式为:$U{gc}^{w}=\sum{j}^{c}M{i, j}, i \in 1,2,3...c$,$U{lc}^{w}=\sum{j}^{c}(U{lc}\cdot U{gc}^{T}){i, j}=\sum{j}^{c}M^{T}{i, j}, i \in 1,2,3...c$,$W=\sigma(\sigma(\theta)×\sigma(U{gc}^{w})+(1 - \sigma(\theta))×\sigma(U{lc}^{w}))$,其中$U{gc}^{w})和(U{lc}^{w}$为融合后的全局和局部通道权重,$\theta$表示sigmoid激活函数。
- 权重应用:将得到的权重与输入特征图相乘,得到最终输出特征图,即$\tau^{ }=W \otimes F$,其中$F$为输入特征图,$F^{ }$为最终输出特征图。
2.2 优势
- 有效整合信息:能够有效整合全局和局部信息,通过相关性矩阵捕获两者在不同粒度上的相关性,促进了全局和局部信息的有效交互。
- 合理分配权重:采用自适应融合策略,避免了局部和全局信息之间冗余的交叉相关操作,进一步促进了它们的交互,能够更精确地为去雾相关特征分配权重。
- 提升去雾性能:在网络去雾过程中,充分利用全局和局部通道信息,提高了网络去雾性能,使得网络能够更准确地强调有用特征,抑制不太有用的特征。
论文:https://doi.org/10.1016/j.neunet.2024.106314
源码:https://github.com/Lose-Code/UBRFC-Net
三、实现代码及RT-DETR修改步骤
模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址: