YOLOv11改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 二次创新C3k2 改进颈部网络

简介: YOLOv11改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 二次创新C3k2 改进颈部网络

一、本文介绍

本文记录的是利用自校准模块RCM优化YOLOv11的目标检测方法研究RCM通过矩形自校准函数可以将注意力区域校准得更接近前景对象,有效提高对前景对象的定位能力。==本文对C3k2模块进行二次创新,并应用在颈部网络上,使模型能够捕获轴向全局上下文信息,并应用于金字塔上下文提取,使模型表现出更高的精度。==


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、RCM 原理介绍

2.1 出发点

  • 现有轻量级模型在特征表示能力上受限,难以对前景对象的边界进行建模和区分类别,导致边界分割不准确和分类错误。为了解决这些问题,设计了矩形自校准模块(RCM)来提高前景对象的位置建模能力,并引入金字塔上下文来改善特征表示。

    2.2 原理

2.2.1 矩形自校准注意力(RCA)

  • 采用水平池化和垂直池化来捕获轴向全局上下文,生成两个轴向量。将这两个轴向量相加来建模一个矩形注意力区域。
  • 设计形状自校准函数,通过大核条状卷积调整矩形注意力的形状,使其更接近前景特征。

    2.2.2 特征融合

  • 设计融合函数,将注意力特征与输入特征融合,使用$3×3$深度卷积进一步提取输入特征的局部细节,通过哈达玛积将校准后的注意力特征加权到细化后的输入特征上。

在这里插入图片描述

2.3 结构

  • 矩形自校准注意力批量归一化(BN)多层感知机(MLP)组成。
  • 矩形自校准注意力通过水平和垂直池化操作后,经过形状自校准函数校准,再进行特征融合。之后添加BN和MLP来细化特征,最后采用残差连接增强特征重用。

在这里插入图片描述

2.4 优势

  • 位置建模和前景聚焦
    • 能够使模型更专注于前景进行空间特征重建,通过形状自校准函数可以将注意力区域校准得更接近前景对象,有效提高对前景对象的定位能力。
  • 上下文提取
    • 在捕获轴向全局上下文用于金字塔上下文提取方面表现出色。通过水平和垂直池化以及后续的操作,可以更好地捕捉图像中的上下文信息。
  • 性能优势
    • 与现有的注意力机制相比,RCM通过其独特的设计,如形状自校准和特征融合等操作,可以取得更好的性能。例如在ADE20K数据集上的实验结果显示,使用RCM的模型在mIoU等指标上表现优异。

论文:https://arxiv.org/pdf/2405.06228
源码:https://github.com/nizhenliang/CGRSeg

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/142979378

目录
相关文章
|
3天前
|
机器学习/深度学习 编解码 计算机视觉
YOLOv11改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对C3k2进行二次创新
YOLOv11改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对C3k2进行二次创新
10 0
YOLOv11改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对C3k2进行二次创新
|
11小时前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
YOLOv11改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
13 6
|
人工智能 算法 自动驾驶
PSA-Det3D:探究3D目标检测小尺寸解决方案
作者提出了PSA-Det3D网络提升3D小尺寸目标检测精度,包含PSA (Pillar Set Abstraction),FPC (Foreground Point Compensation)和point-based detection模块。PSA模块是基于SA (Set Abstraction)设计,通过pillar query operation扩大感受野,有效聚合点特征。FPC模块利用前景点分割和候选框生成模块,定位更多的遮挡物体。前景点和预测的中心点被整合在一起,用以预测最终的检测结果。在KITTI 3D检测数据集中,PSA-Det3D取得了较好的性能,尤其是对于小尺寸目标。
PSA-Det3D:探究3D目标检测小尺寸解决方案
|
3天前
|
机器学习/深度学习 编解码 异构计算
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
26 11
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
|
9月前
|
机器学习/深度学习 编解码 算法
YOLOv5改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干(改进暗光条件下的物体检测)
YOLOv5改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干(改进暗光条件下的物体检测)
297 0
|
9月前
|
传感器 编解码 自动驾驶
即插即用 | Lite-FPN让CenterNet系列再涨4个点(3D检测也适用)
即插即用 | Lite-FPN让CenterNet系列再涨4个点(3D检测也适用)
265 0
|
3天前
|
计算机视觉 Perl
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
6 0
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
|
9月前
|
机器学习/深度学习 编解码 算法
YOLOv8改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干(改进暗光条件下的物体检测模型)
YOLOv8改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干(改进暗光条件下的物体检测模型)
387 0
|
3天前
|
机器学习/深度学习 测试技术 网络架构
YOLOv11改进策略【卷积层】| NeurIPS-2022 ParNet 即插即用模块 二次创新C3k2
YOLOv11改进策略【卷积层】| NeurIPS-2022 ParNet 即插即用模块 二次创新C3k2
7 0
YOLOv11改进策略【卷积层】| NeurIPS-2022 ParNet 即插即用模块 二次创新C3k2
|
3天前
|
计算机视觉
YOLOv11改进策略【卷积层】| CVPR-2024 利用DynamicConv 动态卷积 结合C3k2进行二次创新,提高精度
YOLOv11改进策略【卷积层】| CVPR-2024 利用DynamicConv 动态卷积 结合C3k2进行二次创新,提高精度
9 0