YOLOv11改进策略【Neck】| ArXiv 2023,基于U - Net v2中的的高效特征融合模块:SDI(Semantics and Detail Infusion)

简介: YOLOv11改进策略【Neck】| ArXiv 2023,基于U - Net v2中的的高效特征融合模块:SDI(Semantics and Detail Infusion)

一、本文介绍

本文聚焦于利用U - Net v2中的SDI模块优化YOLOv11的目标检测网络模型SDI模块相较于传统模块独具特色,它融合了先进的特征融合思想,借助精心设计的结构,在确保计算资源高效利用的前提下,巧妙地融合不同层级特征的语义信息与细节,实现特征的全方位增强。在应用于YOLOv11的改进过程中,SDI模块能够助力模型更精准地聚焦于图像中的目标物体,有效抑制背景及其他干扰因素,凸显目标的关键特征与位置信息,从而大幅提升YOLOv11在复杂场景下的目标检测精度与稳定性。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、SDI介绍

U-NET V2: RETHINKING THE SKIP CONNECTIONS OF U-NET FOR MEDICAL IMAGE SEGMENTATION

U-Net V2中的SDI模块在整个网络架构中起着关键作用,其设计旨在解决传统模型在特征融合方面的不足,通过独特的结构原理实现更高效的语义信息和细节融合,从而提升医学图像分割的性能。

2.1 设计出发点

在传统的U - Net模型中,基于U - Net的模型连接方式在整合低层次和高层次特征时可能效果不佳

  • 编码器提取的低层次特征通常保留更多细节但缺乏足够语义信息且可能含噪声,高层次特征虽有较多语义信息却因分辨率降低缺少精确细节。
  • 简单的拼接融合依赖网络学习能力,在医学影像数据有限的情况下是个挑战,且会增加GPU内存消耗和计算量。

因此,需要一种更有效的方式来融合不同层次的特征,这就是SDI模块的设计出发点。

2.2 SDI结构原理

  • 首先,对编码器生成的每一层级(i)的特征$f{i}^{0}$应用空间和通道注意力机制$\varphi{i}^{s}$和$\phi{i}^{c}$,公式为$$f_{i}^{1}=\phi_{i}^{c}\left(\varphi_{i}^{s}\left(f_{i}^{0}\right)\right)$$使特征能够整合局部空间信息和全局通道信息。然后应用$1\times1$卷积将$f{i}^{1}$的通道数减少到$c$(超参数),得到$f_{i}^{2}$。
  • 在解码器的每一层级$i$,以$f{i}^{2}$为目标参考,调整其他层级特征图的大小使其与$f{i}^{2}$分辨率匹配,对于$j < i$:$$f_{ij}^{3}=D\left(f_{j}^{2},\left(H_{i}, W_{i}\right)\right)$$($D$为自适应平均池化);$j = i$时:$$f_{ij}^{3}=(I)\left(f_{j}^{2}\right)$$($I$为恒等映射);$j > i$时:$$f_{ij}^{3}=U)\left(f_{j}^{2},\left(H_{i}, W_{i}\right)\right)$$($U$为双线性插值)。接着对调整后的特征图$f{ij}^{3}$应用$3\times3$卷积进行平滑,得到$f{ij}^{4}=\theta{ij}\left(f{ij}^{3}\right)$。最后,将所有调整为相同分辨率的第(i)层级特征图通过逐元素哈达玛积(H)进行融合,公式为$$f_{i}^{5}=H\left(\left[f_{i1}^{4}, f_{i2}^{4},\cdots, f_{iM}^{4}\right]\right)$$并将$f_{i}^{5}$发送到第$i$层级解码器进行后续处理。

在这里插入图片描述

2.3 优势

  • 从实验结果来看,在皮肤病变分割和息肉分割数据集上,U - Net V2相比其他先进方法有更好的分割效果。
  • 在计算复杂度、GPU内存使用和推理时间方面,U - Net V2也表现出优势。相比UNet++,U - Net V2引入的参数更少,GPU内存使用量更低,FLOPs和FPS更优,说明SDI模块在提升性能的同时没有带来过多的计算和存储负担。

论文:https://arxiv.org/pdf/2311.17791
源码:https://github.com/yaoppeng/U-Net_v2

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144945790

目录
相关文章
|
1月前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
阿里云与企业共筑容器供应链安全
171369 16
|
2天前
|
人工智能 搜索推荐 Docker
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手
1593 95
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
|
1月前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
随着云计算和DevOps的兴起,容器技术和自动化在软件开发中扮演着愈发重要的角色,但也带来了新的安全挑战。阿里云针对这些挑战,组织了一场关于云上安全的深度访谈,邀请了内部专家穆寰、匡大虎和黄竹刚,深入探讨了容器安全与软件供应链安全的关系,分析了当前的安全隐患及应对策略,并介绍了阿里云提供的安全解决方案,包括容器镜像服务ACR、容器服务ACK、网格服务ASM等,旨在帮助企业构建涵盖整个软件开发生命周期的安全防护体系。通过加强基础设施安全性、技术创新以及倡导协同安全理念,阿里云致力于与客户共同建设更加安全可靠的软件供应链环境。
150306 32
|
9天前
|
Linux iOS开发 MacOS
deepseek部署的详细步骤和方法,基于Ollama获取顶级推理能力!
DeepSeek基于Ollama部署教程,助你免费获取顶级推理能力。首先访问ollama.com下载并安装适用于macOS、Linux或Windows的Ollama版本。运行Ollama后,在官网搜索“deepseek”,选择适合你电脑配置的模型大小(如1.5b、7b等)。通过终端命令(如ollama run deepseek-r1:1.5b)启动模型,等待下载完成即可开始使用。退出模型时输入/bye。详细步骤如下图所示,轻松打造你的最强大脑。
7578 85
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
DeepSeek 系列模型以其卓越性能在全球范围内备受瞩目,多次评测中表现优异,性能接近甚至超越国际顶尖闭源模型(如OpenAI的GPT-4、Claude-3.5-Sonnet等)。企业用户和开发者可使用 PAI 平台一键部署 DeepSeek 系列模型,实现 DeepSeek 系列模型与现有业务的高效融合。
|
10天前
|
人工智能 自然语言处理 Java
Spring AI,搭建个人AI助手
本期主要是实操性内容,聊聊AI大模型,并使用Spring AI搭建属于自己的AI助手、知识库。本期所需的演示源码笔者托管在Gitee上(https://gitee.com/catoncloud/spring-ai-demo),读者朋友可自行查阅。
925 41
Spring AI,搭建个人AI助手
|
2月前
|
弹性计算 人工智能 安全
对话 | ECS如何构筑企业上云的第一道安全防线
随着中小企业加速上云,数据泄露、网络攻击等安全威胁日益严重。阿里云推出深度访谈栏目,汇聚产品技术专家,探讨云上安全问题及应对策略。首期节目聚焦ECS安全性,提出三道防线:数据安全、网络安全和身份认证与权限管理,确保用户在云端的数据主权和业务稳定。此外,阿里云还推出了“ECS 99套餐”,以高性价比提供全面的安全保障,帮助中小企业安全上云。
201990 15
对话 | ECS如何构筑企业上云的第一道安全防线
|
2天前
|
机器学习/深度学习 人工智能 并行计算
一文了解火爆的DeepSeek R1 | AIGC
DeepSeek R1是由DeepSeek公司推出的一款基于强化学习的开源推理模型,无需依赖监督微调或人工标注数据。它在数学、代码和自然语言推理任务上表现出色,具备低成本、高效率和多语言支持等优势,广泛应用于教育辅导、金融分析等领域。DeepSeek R1通过长链推理、多语言支持和高效部署等功能,显著提升了复杂任务的推理准确性,并且其创新的群体相对策略优化(GRPO)算法进一步提高了训练效率和稳定性。此外,DeepSeek R1的成本低至OpenAI同类产品的3%左右,为用户提供了更高的性价比。
707 10
|
12天前
|
人工智能 JavaScript 前端开发
白嫖 DeepSeek ,低代码竟然会一键作诗?
宜搭低代码平台接入 DeepSeek AI 大模型能力竟然这么方便!本教程将揭秘宜搭如何快速接入 DeepSeek API,3 步打造专属作诗机器人,也许你还能开发出更多有意思的智能玩法,让创意在代码间自由生长。
1551 13
|
10天前
|
Linux iOS开发 MacOS
DeepSeek爆火,如何免费部署到你的电脑上?获取顶级推理能力教程来了
如何在本地电脑上免费部署DeepSeek,获取顶级推理能力?只需三步:1. 访问Ollama官网下载并安装对应操作系统的版本(支持macOS、Linux和Windows)。2. 打开Ollama并确保其正常运行。3. 在Ollama官网搜索并选择DeepSeek模型(如deepseek-r1),根据电脑配置选择合适的模型大小(1.5B至671B)。通过终端命令(如ollama run deepseek-r1:1.5b)运行模型,即可开始使用DeepSeek进行推理。退出模型时,在终端输入/bye。更多详情请参考Ollama官方文档。