YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题

简介: YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题

一、本文介绍

本文主要利用FreqFusion结构改进YOLOv11的目标检测网络模型FreqFusion结构针对传统特征融合在密集图像预测中存在的问题,创新性地引入自适应低通滤波器生成器偏移量生成器自适应高通滤波器生成器。将FreqFusion应用于YOLOv11的改进过程中,能够使模型在处理复杂场景图像时,更精准地聚焦目标物体边界,减少背景噪声干扰,显著强化目标物体边界特征表达,进而提升模型在复杂场景下对目标物体的检测精度与定位准确性。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、FreqFusion介绍

Frequency-aware Feature Fusion for Dense Image Prediction

FreqFusion是一种旨在解决密集图像预测任务中特征融合问题的方法,以下从其结构设计的出发点、结构、原理和作用等方面进行详细介绍:

2.1 出发点

标准特征融合技术存在两个问题,即类别内不一致性边界位移

例如,同一物体不同部分的特征差异大导致类别内不一致;简单插值使特征过度平滑导致边界位移,且下层次特征的详细边界信息未被充分利用。

2.2 结构

自适应低通滤波器(ALPF)生成器偏移生成器自适应高通滤波器(AHPF)生成器三个关键组件构成。

在这里插入图片描述

2.3 原理

  1. 首先进行初始融合将低层次和高层次特征压缩并融合,为三个生成器提供输入。
    • 简单初始融合存在不足,一是采用简单插值上采样压缩特征导致边界模糊
    • 二是ALPF生成器依赖高频信息,但传统卷积层只能捕获固定高频模式
    • 为此进行了增强,利用ALPF生成器生成初始低通滤波器上采样压缩的高层次特征,并采用AHPF生成器提取特征图中的高频分量
  2. ALPF生成器以初始融合的$z^{l}$为输入,通过3×3卷积层Softmax层预测空间变化的低通滤波器。接着使用亚像素上采样技术,将低通滤波器重构成4组,得到4组低通滤波后的特征,再重新排列形成上采样后的特征
  3. 偏移生成器根据局部相似度计算偏移量,用于重采样特征像素,用具有高类别内相似度的附近特征替换高层次特征中的不一致特征。
  4. AHPF生成器预测并应用空间变化的高通滤波器到低层次特征,以增强下采样过程中丢失的高频细节信息,从而更准确地描绘边界。

在这里插入图片描述

2.4 作用

FreqFusion通过自适应地用空间变化的低通滤波器平滑高层次特征、重采样附近类别一致的特征来替换高层次特征中的不一致特征、增强低层次特征的高频边界细节,来解决类别不一致性和边界位移问题,从而恢复具有一致类别信息和清晰边界的融合特征。提高了特征一致性和边界清晰度,在各种密集预测任务中取得了显著的性能提升。

论文:https://arxiv.org/pdf/2408.12879
源码:https://github.com/Linwei-Chen/FreqFusion

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/145115788

目录
相关文章
|
9月前
|
机器学习/深度学习
YOLOv8改进 | 注意力篇 | ACmix自注意力与卷积混合模型(提高FPS+检测效率)
YOLOv8改进 | 注意力篇 | ACmix自注意力与卷积混合模型(提高FPS+检测效率)
372 0
|
3天前
|
机器学习/深度学习 编解码 异构计算
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
26 11
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注
|
3天前
|
机器学习/深度学习 计算机视觉 索引
YOLOv11改进策略【Conv和Transformer】| ECCV-2024 Histogram Transformer 直方图自注意力 适用于噪声大,图像质量低的检测任务
YOLOv11改进策略【Conv和Transformer】| ECCV-2024 Histogram Transformer 直方图自注意力 适用于噪声大,图像质量低的检测任务
19 9
YOLOv11改进策略【Conv和Transformer】| ECCV-2024 Histogram Transformer 直方图自注意力 适用于噪声大,图像质量低的检测任务
|
3天前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
21 7
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
|
12小时前
|
机器学习/深度学习 C语言 计算机视觉
YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
14 7
YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
|
11小时前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
17 6
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
|
12小时前
|
编解码 异构计算
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
15 6
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
3天前
|
计算机视觉 Perl
YOLOv11改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
YOLOv11改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
12 0
YOLOv11改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
|
3天前
|
机器学习/深度学习 编解码 计算机视觉
YOLOv11改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对C3k2进行二次创新
YOLOv11改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对C3k2进行二次创新
10 0
YOLOv11改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对C3k2进行二次创新
|
12小时前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
YOLOv11改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
16 7