YOLOv11改进策略【Backbone/主干网络】| CVPR 2024替换骨干网络为 UniRepLKNet,解决大核 ConvNets 难题

简介: YOLOv11改进策略【Backbone/主干网络】| CVPR 2024替换骨干网络为 UniRepLKNet,解决大核 ConvNets 难题

一、本文介绍

本文记录的是基于UniRepLKNet的YOLOv11骨干网络改进方法研究UniRepLKNet提出了独特的大核设计有效捕捉图像特征,在多模态任务中展现出强大的通用感知能力。将UniRepLKNet应用到YOLOv11的骨干网络中,提升YOLOv11在目标检测任务中的精度和效率 。

本文在YOLOv11的基础上配置了原论文中unireplknet_a, unireplknet_f, unireplknet_p, unireplknet_n, unireplknet_t, unireplknet_s, unireplknet_b, unireplknet_l, unireplknet_xl九种模型,以满足不同的需求。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、UniRepLKNet原理介绍

UniRepLKNet: A Universal Perception Large-Kernel ConvNet for Audio, Video, Point Cloud, Time-Series and Image Recognition

UniRepLKNet是一种通用感知大核卷积神经网络,其模型结构设计旨在解决现有大核卷积神经网络存在的问题,并探索卷积神经网络在多模态领域的通用感知能力。以下从设计出发点、结构原理和优势三方面进行详细介绍:

2.1 设计出发点

  • 大核卷积神经网络架构设计不足:现有大核卷积神经网络架构大多遵循传统卷积神经网络或Transformer的设计原则,缺乏针对大核特性的专门设计。例如,RepLKNet 遵循 Swin Transformer 的架构,SLaK 遵循 ConvNeXt 的架构,这种简单沿用其他模型架构的方式,没有充分挖掘大核卷积神经网络的潜力。
  • 探索卷积神经网络在多模态领域的通用感知能力:Transformer在多种模态中展现出通用感知能力,而卷积神经网络在视觉领域以外的通用感知能力有待研究。因此,研究希望探索大核卷积神经网络是否能在音频、视频、点云、时间序列等非视觉领域取得良好效果。

    2.2 结构原理

  • 架构准则:提出四条架构准则。
    • 准则一是使用如SE Block等高效结构增加深度,该结构能同时进行通道间通信和空间聚合,提升模型的表示能力 ;
    • 准则二是使用扩张重参数化块(Dilated Reparam Block)对大核进行重参数化,通过并行的扩张小核卷积层增强大核捕捉稀疏模式的能力,且在推理时可将整个块等效转换为单个非扩张卷积层,避免额外推理成本。
    • 准则三是根据下游任务决定内核大小,通常在中高级层使用大内核,不同阶段使用不同大小内核会影响模型性能,需根据具体任务和框架选择合适的内核大小。
    • 准则四是在增加深度时,添加的块应使用小内核,通过实验表明,小内核在增加空间模式的抽象层次方面有重要作用,能在扩大感受野的同时提高模型性能。
  • Dilated Reparam Block:该模块使用非扩张小核和多个扩张小核卷积层增强非扩张大核卷积层。在训练时,大核与并行的小核(包括扩张小核)卷积层同时工作,小核有助于捕捉小规模模式,扩张小核可增强大核捕捉稀疏模式的能力。训练后,通过结构重参数化方法,将批归一化(BN)层合并到卷积层中,并将扩张卷积层等效转换为非扩张的大核卷积层,以减少推理成本。

在这里插入图片描述

2.3 整体架构

  • 由多个阶段组成,阶段之间通过下采样块(由步长为2的密集3×3卷积层实现)进行连接。
  • 每个阶段包含了不同的块,如LarK Block(大核块)和SmaK Block(小核块)。
  • 一个LarK Block由一个Dilated Reparam Block(扩张重参数块)、一个SE Block(挤压与激励块)、FFN(前馈神经网络)和BN(批归一化)层构成。
    • Dilated Reparam Block的作用是通过使用非扩张的小核和多个扩张的小核层来增强非扩张大核卷积层,它利用了大核能够在不增加深度的情况下看到更宽范围的特点。其超参数包括大核的大小K、并行卷积层的大小k以及扩张率r,通过灵活设置这些参数,可以更好地捕捉不同尺度的特征。
    • SE Block用于实现高效的结构,以增加深度,它通过全局平均池化和非线性映射来实现通道间的通信和空间聚合。
  • 大核和小核的主要区别在于:SmaK Block使用深度可分离的3×3卷积层来替代LarK Block中的Dilated Reparam Block。

在这里插入图片描述

2.4 优势

  • 图像识别性能领先:在ImageNet分类、COCO对象检测和ADE20K语义分割等任务上,UniRepLKNet均取得领先性能,在精度和效率上优于RepLKNet、SLaK等现有大核卷积神经网络,以及ConvNeXt V2、FastViT、Swin V2和DeiT III等模型。
  • 多模态通用感知能力出色:在时间序列预测、音频识别、视频识别和点云分析等任务中,UniRepLKNet均取得了优异的成绩。
  • 更高的形状偏差:UniRepLKNet比现有卷积神经网络和Transformer具有更高的形状偏差,即其预测更多基于物体的整体形状而非纹理,这与人类视觉系统更相符,有助于模型在下游任务中表现更优。

论文:https://arxiv.org/abs/2311.15599
源码:https://github.com/AILab-CVC/UniRepLKNet

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/145115865

目录
相关文章
|
3天前
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
32 18
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
|
3天前
|
机器学习/深度学习 文件存储 异构计算
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
41 18
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
|
3天前
|
机器学习/深度学习 编解码 自动驾驶
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
32 16
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
|
3天前
|
机器学习/深度学习 编解码 TensorFlow
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
29 14
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构
|
3天前
|
机器学习/深度学习 移动开发 测试技术
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2,含模型详解和完整配置步骤
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2,含模型详解和完整配置步骤
26 13
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2,含模型详解和完整配置步骤
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
80 17
|
2月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
61 10
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,并提供一些实用的代码示例。通过阅读本文,您将了解到如何保护自己的网络安全,以及如何提高自己的信息安全意识。
70 10
|
2月前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。

热门文章

最新文章