YOLOv11改进策略【模型轻量化】| 替换轻量化骨干网络:ShuffleNet V1

简介: YOLOv11改进策略【模型轻量化】| 替换轻量化骨干网络:ShuffleNet V1

一、本文介绍

本文记录的是基于ShuffleNet V1的YOLOv11轻量化改进方法研究ShuffleNet利用逐点分组卷积通道混洗操作降低计算成本,克服了现有先进架构在极小网络中因 1×1 卷积计算成本高而效率低的问题。相比一些传统的网络架构,能更好地在有限计算资源下提升模型性能。本文配置了原论文中shufflenet_v1_x0_5shufflenet_v1_x1_0shufflenet_v1_x1_5shufflenet_v1_x2_0四种模型,以满足不同的需求。

模型 参数量 计算量 推理速度
YOLOv11m 20.0M 67.6GFLOPs 3.5ms
Improved 12.6M 29.8GFLOPs 3.0ms

专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、ShuffleNet v1模型轻量化设计

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

2.1 出发点

  • 移动设备计算资源有限:在移动设备(如无人机、机器人、智能手机等)上运行的深度学习模型需要在非常有限的计算预算(如10 - 150 MFLOPs)下追求最佳精度,而现有的一些工作主要集中在对现有网络架构进行剪枝、压缩或低比特表示,缺乏专门针对此计算范围设计的高效基础架构。
  • 现有架构的局限性:一些先进的基础架构如Xception和ResNeXt在极小的网络中效率较低,原因是1×1卷积计算成本高。

2.2 原理

2.2.1 Pointwise Group Convolution(逐点分组卷积)

为降低1×1卷积的计算复杂度,提出使用逐点分组卷积

例如在ResNeXt中,只有3×3层配备了分组卷积,导致1×1卷积在每个残差单元中仍占据较高的计算量(如93.4%的乘法 - 加法运算)。

通过在1×1层也应用分组卷积,确保每个卷积仅在相应的输入通道组上操作,可显著降低计算成本。

2.2.2 Channel Shuffle(通道混洗)操作

原因
当多个分组卷积层堆叠时会产生副作用,即某个通道的输出仅来自一小部分输入通道,阻碍了通道组之间的信息流,削弱了表示能力。为解决此问题,提出通道混洗操作。

方法
对于一个具有g组且输出有g×n个通道的卷积层,先将输出通道维度重塑为(g, n),进行转置然后再展平作为下一层的输入。此操作可使分组卷积能从不同组获取输入数据,保证输入和输出通道完全相关,且该操作是可微的,可嵌入到网络结构中进行端到端训练。

2.3 结构

2.3.1 ShuffleNet Unit(ShuffleNet单元)

  • 基于瓶颈单元(bottleneck unit)设计原则,在其残差分支中,对于3×3层应用计算经济的3×3深度可分离卷积。将第一个1×1层替换为逐点分组卷积并后跟一个通道混洗操作,第二个逐点分组卷积用于恢复通道维度以匹配快捷路径。在应用步长(stride)的情况下,在快捷路径上添加一个3×3平均池化,并将逐元素相加替换为通道拼接。

在这里插入图片描述

ShuffleNet单元。a)深度卷积瓶颈单元(DWConv);b)带点群卷积(GConv)和通道shuffle的ShuffleNet单元;c)步长=2的ShuffleNet单元。

2.3.2 Network Architecture(网络架构)

  • 由多个ShuffleNet单元堆叠组成,分为三个阶段,每个阶段的第一个构建块应用stride = 2,同一阶段内其他超参数保持不变,下一阶段输出通道翻倍。通过调整分组数量g和通道缩放因子s来控制网络的连接稀疏性和复杂度。

2.4 优势

  • 计算效率高
    • 在相同计算复杂度预算下,与ResNet和ResNeXt相比,ShuffleNet单元的复杂度更低。例如,给定输入大小和瓶颈通道数,ResNet单元、ResNeXt单元和ShuffleNet单元所需的FLOPs分别为$hw(2cm + 9m^{2})$、$hw(2cm + 9m^{2}/g)$和$hw(2cm/g + 9m)$。
  • 性能优越
    • 在ImageNet分类和MS COCO目标检测任务上表现优异。与MobileNet相比,在40 MFLOPs的计算预算下,ShuffleNet在ImageNet分类任务上的top - 1误差绝对值低7.8%;在ARM - 基于移动设备上,ShuffleNet在保持可比精度的情况下,比AlexNet实现了约13×的实际加速。
  • 能更好地利用有限计算资源
    • 对于小网络,给定计算预算时可使用更宽的特征图,这对处理信息至关重要,因为小网络通常通道数不足。同时,在ShuffleNet单元中,深度可分离卷积仅应用于瓶颈特征图,可避免在低功耗移动设备上的实现开销。

论文:https://arxiv.org/pdf/1707.01083.pdf
源码:https://github.com/Lornatang/ShuffleNetV1-PyTorch/blob/main/model.py

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/143326073

目录
相关文章
|
3天前
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
32 18
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 GhostNet V3 2024华为的重参数轻量化模型
|
3天前
|
机器学习/深度学习 编解码 自动驾驶
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
32 16
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV1,用于移动视觉应用的高效卷积神经网络
|
3天前
|
机器学习/深度学习 移动开发 测试技术
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2,含模型详解和完整配置步骤
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2,含模型详解和完整配置步骤
26 13
YOLOv11改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2,含模型详解和完整配置步骤
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
80 17
|
2月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
61 10
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,并提供一些实用的代码示例。通过阅读本文,您将了解到如何保护自己的网络安全,以及如何提高自己的信息安全意识。
70 10
|
2月前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。
|
2月前
|
监控 安全 网络安全
网络安全与信息安全:漏洞、加密与意识的交织
在数字时代的浪潮中,网络安全与信息安全成为维护数据完整性、保密性和可用性的关键。本文深入探讨了网络安全中的漏洞概念、加密技术的应用以及提升安全意识的重要性。通过实际案例分析,揭示了网络攻击的常见模式和防御策略,强调了教育和技术并重的安全理念。旨在为读者提供一套全面的网络安全知识框架,从而在日益复杂的网络环境中保护个人和组织的资产安全。
|
2月前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们日常生活中不可或缺的一部分。本文将深入探讨网络安全漏洞、加密技术和安全意识等方面的问题,并提供一些实用的建议和解决方案。我们将通过分析网络攻击的常见形式,揭示网络安全的脆弱性,并介绍如何利用加密技术来保护数据。此外,我们还将强调提高个人和企业的安全意识的重要性,以应对日益复杂的网络威胁。无论你是普通用户还是IT专业人士,这篇文章都将为你提供有价值的见解和指导。

热门文章

最新文章