一、本文介绍
本文记录的是利用AKConv优化RT-DETR的目标检测网络模型。标准卷积操作的卷积运算局限于局部窗口，无法捕获其他位置的信息，且采样形状固定，无法适应不同数据集和位置中目标形状的变化。而AKConv==旨在为卷积核提供任意数量的参数和任意采样形状，以在网络开销和性能之间提供更丰富的权衡选择==。本文利用AKConv模块改进RT-DETR，来提高网络性能。
专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！
二、AKConv介绍
AKConv： 具有任意采样形状和任意参数数量的卷积核
2.1、AKConv原理
- 定义初始采样位置：
- 通过新的坐标生成算法为任意大小的卷积核定义初始位置。具体来说，先生成规则采样网格，再为剩余采样点创建不规则网格，最后拼接生成整体采样网格。以$3×3$卷积操作为例，其采样网格$R = {(-1,-1),(-1,0),...,(0,1),(1,1)}$，但
AKConv针对不规则形状的卷积核，通过算法生成卷积核$P_n$的初始采样坐标。在算法中，将左上角$(0, 0)$点设为采样原点。定义在位置$P_0$的相应卷积运算为$Conv(P_0) = \sum w \times (P_0 + P_n)$，其中$w$表示卷积参数。
- 通过新的坐标生成算法为任意大小的卷积核定义初始位置。具体来说，先生成规则采样网格，再为剩余采样点创建不规则网格，最后拼接生成整体采样网格。以$3×3$卷积操作为例，其采样网格$R = {(-1,-1),(-1,0),...,(0,1),(1,1)}$，但
- 可变卷积操作：
- 标准卷积采样位置固定，只能提取当前窗口的局部信息，无法捕获其他位置的信息。
Deformable Conv通过学习偏移来调整初始规则模式的采样网格，以弥补卷积操作的不足，但它和标准卷积不允许卷积核有任意数量的参数，且卷积参数随卷积核大小呈平方增长，对硬件环境不友好。 AKConv类似于Deformable Conv，先通过卷积操作获得对应核的偏移，其维度为$(B, 2N, H, W)$（$N$为卷积核大小），然后通过偏移和原始坐标求和得到修改后的坐标，最后通过插值和重采样获得对应位置的特征。- 对于不规则卷积核难以提取对应采样位置特征的问题，可采用多种方法解决。例如，在
Deformable Conv和RFAConv中，通过在空间维度堆叠$3×3$卷积特征，然后用步长为3的卷积操作提取特征，但此方法针对正方形采样形状。因此，可以将特征按行或列堆叠，使用列卷积或行卷积来提取对应不规则采样形状的特征；也可以将特征转换为四维$(C, N, H, W)$，然后用步长和卷积大小为$(N,1,1)$的Conv3d提取特征；还可以将特征在通道维度堆叠为$(CN, H, W)$，然后用(1×1)卷积降维为$(C, H, W)$。在AKConv中，按照上述方法对特征进行重塑并使用相应卷积操作即可提取对应特征。最终，AKConv通过不规则卷积完成特征提取过程，能根据偏移灵活调整样本形状，为卷积采样形状带来更多探索选项。
- 标准卷积采样位置固定，只能提取当前窗口的局部信息，无法捕获其他位置的信息。
- 扩展AKConv：
AKConv可以通过重新采样初始坐标呈现多种变化，即使不使用Deformable Conv中的偏移思想，也能实现多种卷积核形状。- 根据数据集目标形状的变化，设计对应采样形状的卷积操作，通过设计特定形状的初始采样形状来实现。例如，为长管状结构分割任务设计具有相应形状的采样坐标，但形状选择仅针对长管状结构。
AKConv真正实现了卷积核操作具有任意形状和数量的过程，能够使卷积核呈现多种形状。而Deformable Conv旨在弥补常规卷积的不足，DSConv针对特定对象形状设计，它们都没有探索任意大小和形状的卷积。AKConv通过Offset使卷积操作能高效提取不规则样本形状的特征，允许卷积有任意数量的卷积参数和多种形状。
2.2、AKConv优势
- 提高检测性能：在COCO2017、VOC 7 + 12和VisDrone - DET2021等数据集的目标检测实验中，AKConv显著提高了YOLOv5等模型的目标检测性能。例如，在COCO2017数据集上，当AKConv大小为5时，不仅使模型所需的参数和计算开销减少，还显著提高了YOLOv5n的检测精度，$AP{50}$、$AP{75}$和$AP$均提高了三个百分点，且对大物体的检测精度提升更为明显。
- 灵活的参数选择：与标准卷积和Deformable Conv相比，AKConv允许卷积参数数量呈线性增减，有利于硬件环境，可作为轻量级模型的替代选择，减少模型参数和计算开销。同时，在大内核且资源充足的情况下，它有更多选项来提高网络性能。
- 丰富的选择：与Deformable Conv不同，AKConv为网络提供了更丰富的选择，它可以使用规则和不规则卷积操作。当AKConv大小设置为(K)的平方时，它可以成为Deformable Conv，但Deformable Conv没有探索不规则卷积核大小，而AKConv可以实现参数为5和11等的卷积操作。
论文：https://arxiv.org/pdf/2311.11587v2
源码： https://github.com/CV-ZhangXin/AKConv
三、实现代码及YOLOv11修改步骤
模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址：
