YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题

简介: YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题

一、本文介绍

本文主要利用FreqFusion结构改进YOLOv11的目标检测网络模型FreqFusion结构针对传统特征融合在密集图像预测中存在的问题,创新性地引入自适应低通滤波器生成器偏移量生成器自适应高通滤波器生成器。将FreqFusion应用于YOLOv11的改进过程中,能够使模型在处理复杂场景图像时,更精准地聚焦目标物体边界,减少背景噪声干扰,显著强化目标物体边界特征表达,进而提升模型在复杂场景下对目标物体的检测精度与定位准确性。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、FreqFusion介绍

Frequency-aware Feature Fusion for Dense Image Prediction

FreqFusion是一种旨在解决密集图像预测任务中特征融合问题的方法,以下从其结构设计的出发点、结构、原理和作用等方面进行详细介绍:

2.1 出发点

标准特征融合技术存在两个问题,即类别内不一致性边界位移

例如,同一物体不同部分的特征差异大导致类别内不一致;简单插值使特征过度平滑导致边界位移,且下层次特征的详细边界信息未被充分利用。

2.2 结构

自适应低通滤波器(ALPF)生成器偏移生成器自适应高通滤波器(AHPF)生成器三个关键组件构成。

在这里插入图片描述

2.3 原理

  1. 首先进行初始融合将低层次和高层次特征压缩并融合,为三个生成器提供输入。
    • 简单初始融合存在不足,一是采用简单插值上采样压缩特征导致边界模糊
    • 二是ALPF生成器依赖高频信息,但传统卷积层只能捕获固定高频模式
    • 为此进行了增强,利用ALPF生成器生成初始低通滤波器上采样压缩的高层次特征,并采用AHPF生成器提取特征图中的高频分量
  2. ALPF生成器以初始融合的$z^{l}$为输入,通过3×3卷积层Softmax层预测空间变化的低通滤波器。接着使用亚像素上采样技术,将低通滤波器重构成4组,得到4组低通滤波后的特征,再重新排列形成上采样后的特征
  3. 偏移生成器根据局部相似度计算偏移量,用于重采样特征像素,用具有高类别内相似度的附近特征替换高层次特征中的不一致特征。
  4. AHPF生成器预测并应用空间变化的高通滤波器到低层次特征,以增强下采样过程中丢失的高频细节信息,从而更准确地描绘边界。

在这里插入图片描述

2.4 作用

FreqFusion通过自适应地用空间变化的低通滤波器平滑高层次特征、重采样附近类别一致的特征来替换高层次特征中的不一致特征、增强低层次特征的高频边界细节,来解决类别不一致性和边界位移问题,从而恢复具有一致类别信息和清晰边界的融合特征。提高了特征一致性和边界清晰度,在各种密集预测任务中取得了显著的性能提升。

论文:https://arxiv.org/pdf/2408.12879
源码:https://github.com/Linwei-Chen/FreqFusion

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/145115788

相关文章
|
10月前
|
计算机视觉
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
384 17
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
|
10月前
|
计算机视觉
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
2161 10
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
|
10月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
1076 9
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
|
10月前
|
机器学习/深度学习 PyTorch TensorFlow
YOLOv11改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
YOLOv11改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
530 12
YOLOv11改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
|
10月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Head】| 引入RT-DETR中的RTDETRDecoder,替换检测头
YOLOv11改进策略【Head】| 引入RT-DETR中的RTDETRDecoder,替换检测头
929 11
YOLOv11改进策略【Head】| 引入RT-DETR中的RTDETRDecoder,替换检测头
|
10月前
|
机器学习/深度学习 数据可视化 算法
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
1724 7
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
|
10月前
|
人工智能 计算机视觉
YOLOv11改进策略【损失函数篇】| NWD损失函数,提高小目标检测精度
YOLOv11改进策略【损失函数篇】| NWD损失函数,提高小目标检测精度
1334 6
YOLOv11改进策略【损失函数篇】| NWD损失函数,提高小目标检测精度
|
10月前
|
机器学习/深度学习 存储 TensorFlow
YOLOv11改进策略【Head】| (独家改进)轻量化检测头:利用 EfficientNet 中的移动倒置瓶颈模块 MBConv 改进检测头
YOLOv11改进策略【Head】| (独家改进)轻量化检测头:利用 EfficientNet 中的移动倒置瓶颈模块 MBConv 改进检测头
2386 11
YOLOv11改进策略【Head】| (独家改进)轻量化检测头:利用 EfficientNet 中的移动倒置瓶颈模块 MBConv 改进检测头
|
11月前
|
计算机视觉
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
本文探讨了基于AIFI模块的YOLOv11目标检测改进方法。AIFI是RT-DETR中高效混合编码器的一部分,通过在S5特征层上应用单尺度Transformer编码器,减少计算成本并增强概念实体间的联系,从而提升对象定位和识别效果。实验表明,AIFI使模型延迟降低35%,准确性提高0.4%。
1234 20
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
|
10月前
|
编解码 计算机视觉
YOLOv11改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv11-T !!! 最新的发文热点
YOLOv11改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv11-T !!! 最新的发文热点
1674 7
YOLOv11改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv11-T !!! 最新的发文热点