RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务

简介: RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务

一、本文介绍

本文记录的是利用SPD-Conv优化RT-DETR的目标检测网络模型。在利用SPD-Conv在进行下采样特征图时保留了所有信息,避免了传统步长卷积和池化操作导致的细粒度信息丢失问题,从而使得神经网络能够学习到更有效的特征表示。在实际应用中能够显著提高检测和分类的准确性,尤其是在处理==小对象和低分辨率图像==时表现更为突出。


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、SPD - Conv介绍

SPD-Conv是一种新的 CNN 构建模块,用于替代传统 CNN 架构中使用的步长卷积(strided convolution)池化(pooling)层,它由空间到深度(Space-to-depth,SPD)层非步长卷积(non - strided convolution)层组成。

2.1、SPD - Conv模块的设计原理

2.1.1 SPD层

SPD层对特征图进行下采样,同时在通道维度上保留所有信息,从而不会造成信息损失。具体来说,对于任何中间特征图X(大小为S×S×C1),SPD层将其切分为一系列子特征图。例如,子图f0,0 = X[0 : S : scale, 0 : S : scale],f1,0 = X[1 : S : scale, 0 : S : scale]等。一般地,给定原始特征图X,子图fx,y由所有满足i + x和j + y能被scale整除的条目X(i, j)形成。因此,每个子图将X下采样为原来的1/scale。以scale = 2为例,会得到四个子图f0,0, f1,0, f0,1, f1,1,每个子图的形状为(S / 2, S / 2, C1),将X下采样了2倍。然后,将这些子特征图沿通道维度进行拼接,得到一个特征图X',其空间维度减小了scale倍,通道维度增加了scale²倍。换句话说,SPD将特征图X(S, S, C1)转换为中间特征图X'(S / scale, S / scale, scaleC1)。

2.1.2 非步长卷积层

SPD特征转换层之后,添加一个非步长(即步长为1)卷积层,该卷积层具有C2个滤波器,其中C2 < scale²C1,进一步将X'(S / scale, S / scale, scaleC1)转换为X''(S / scale, S / scale, C2)。使用非步长卷积的原因是为了尽可能保留所有的判别特征信息。否则,例如使用步长为3的3×3滤波器,特征图会“缩小”,但每个像素仅被采样一次;如果步长为2,则会出现不对称采样,偶数行/列和奇数行/列将在不同时间被采样。一般来说,步长大于1会导致信息的无差别丢失,尽管表面上它似乎也能将特征图X(S, S, C1)转换为X''(S / scale, S / scale, C2)(但没有中间的X')。

在这里插入图片描述

2.2、SPD - Conv模块的优势

  • 通用性和统一性SPD-Conv可以应用于大多数CNN架构,并且以相同的方式替换步长卷积和池化操作。
  • 提高准确性:通过在YOLOv5ResNet中应用SPD-Conv并进行实验,结果表明在对象检测和图像分类任务中,SPD-Conv能够显著提高检测和分类的准确性,尤其是在处理小对象和低分辨率图像时表现更为突出。例如,在对象检测任务中,与其他基线模型相比,使用SPD-ConvYOLOv5-SPD在AP(平均精度)和APS(小对象的AP)指标上有明显提升;在图像分类任务中,ResNet18-SPDResNet50-SPD在Top-1准确率上明显优于其他基线模型。
  • 保留信息SPD-Conv通过SPD层下采样特征图时保留了所有信息,避免了传统步长卷积和池化操作导致的细粒度信息丢失问题,从而使得神经网络能够学习到更有效的特征表示。
  • 易于集成SPD-Conv可以轻松集成到流行的深度学习库如PyTorch和TensorFlow中,有可能产生更大的影响。

在这里插入图片描述

论文:https://arxiv.org/pdf/2208.03641v1.pdf
源码:https://github.com/LabSAINT/SPD-Conv

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144057167

目录
相关文章
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
DeepSeek 系列模型以其卓越性能在全球范围内备受瞩目,多次评测中表现优异,性能接近甚至超越国际顶尖闭源模型(如OpenAI的GPT-4、Claude-3.5-Sonnet等)。企业用户和开发者可使用 PAI 平台一键部署 DeepSeek 系列模型,实现 DeepSeek 系列模型与现有业务的高效融合。
|
3天前
|
人工智能 搜索推荐 Docker
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手
1967 101
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
|
1月前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
阿里云与企业共筑容器供应链安全
171370 17
|
10天前
|
Linux iOS开发 MacOS
deepseek部署的详细步骤和方法,基于Ollama获取顶级推理能力!
DeepSeek基于Ollama部署教程,助你免费获取顶级推理能力。首先访问ollama.com下载并安装适用于macOS、Linux或Windows的Ollama版本。运行Ollama后,在官网搜索“deepseek”,选择适合你电脑配置的模型大小(如1.5b、7b等)。通过终端命令(如ollama run deepseek-r1:1.5b)启动模型,等待下载完成即可开始使用。退出模型时输入/bye。详细步骤如下图所示,轻松打造你的最强大脑。
8541 86
|
1月前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
随着云计算和DevOps的兴起,容器技术和自动化在软件开发中扮演着愈发重要的角色,但也带来了新的安全挑战。阿里云针对这些挑战,组织了一场关于云上安全的深度访谈,邀请了内部专家穆寰、匡大虎和黄竹刚,深入探讨了容器安全与软件供应链安全的关系,分析了当前的安全隐患及应对策略,并介绍了阿里云提供的安全解决方案,包括容器镜像服务ACR、容器服务ACK、网格服务ASM等,旨在帮助企业构建涵盖整个软件开发生命周期的安全防护体系。通过加强基础设施安全性、技术创新以及倡导协同安全理念,阿里云致力于与客户共同建设更加安全可靠的软件供应链环境。
150307 32
|
1天前
|
人工智能 自然语言处理 JavaScript
宜搭上新,DeepSeek 插件来了!
钉钉宜搭近日上线了DeepSeek插件,无需编写复杂代码,普通用户也能轻松调用强大的AI大模型能力。安装后,平台新增「AI生成」组件,支持创意内容生成、JS代码编译、工作汇报等场景,大幅提升工作效率。快来体验这一高效智能的办公方式吧!
883 5
|
2天前
|
API 开发工具 Python
阿里云PAI部署DeepSeek及调用
本文介绍如何在阿里云PAI EAS上部署DeepSeek模型,涵盖7B模型的部署、SDK和API调用。7B模型只需一张A10显卡,部署时间约10分钟。文章详细展示了模型信息查看、在线调试及通过OpenAI SDK和Python Requests进行调用的步骤,并附有测试结果和参考文档链接。
660 5
阿里云PAI部署DeepSeek及调用
|
11天前
|
人工智能 自然语言处理 Java
Spring AI,搭建个人AI助手
本期主要是实操性内容,聊聊AI大模型,并使用Spring AI搭建属于自己的AI助手、知识库。本期所需的演示源码笔者托管在Gitee上(https://gitee.com/catoncloud/spring-ai-demo),读者朋友可自行查阅。
938 41
Spring AI,搭建个人AI助手
|
3天前
|
机器学习/深度学习 人工智能 并行计算
一文了解火爆的DeepSeek R1 | AIGC
DeepSeek R1是由DeepSeek公司推出的一款基于强化学习的开源推理模型,无需依赖监督微调或人工标注数据。它在数学、代码和自然语言推理任务上表现出色,具备低成本、高效率和多语言支持等优势,广泛应用于教育辅导、金融分析等领域。DeepSeek R1通过长链推理、多语言支持和高效部署等功能,显著提升了复杂任务的推理准确性,并且其创新的群体相对策略优化(GRPO)算法进一步提高了训练效率和稳定性。此外,DeepSeek R1的成本低至OpenAI同类产品的3%左右,为用户提供了更高的性价比。
785 10
|
2月前
|
弹性计算 人工智能 安全
对话 | ECS如何构筑企业上云的第一道安全防线
随着中小企业加速上云,数据泄露、网络攻击等安全威胁日益严重。阿里云推出深度访谈栏目,汇聚产品技术专家,探讨云上安全问题及应对策略。首期节目聚焦ECS安全性,提出三道防线:数据安全、网络安全和身份认证与权限管理,确保用户在云端的数据主权和业务稳定。此外,阿里云还推出了“ECS 99套餐”,以高性价比提供全面的安全保障,帮助中小企业安全上云。
201994 15
对话 | ECS如何构筑企业上云的第一道安全防线

热门文章

最新文章