SFT-GAN、CSRCNN、CSNLN、HAN+、Config (f)…你都掌握了吗？一文总结超分辨率分析必备经典模型（三）(2)

2、 CSRCNN

随着SRCNN的发展，深度学习技术已被广泛应用于图像超分辨率任务。许多研究人员专注于优化和改进SRCNN的结构，实现了良好的处理速度和修复质量。然而，这些方法在训练过程中大多只考虑特定比例的图像，而忽视了不同比例图像之间的关系。基于这种考虑，本文提出了一个用于图像超分辨率的级联卷积神经网络（cascade convolution neural network，CSRCNN），它包括三个级联的快速SRCNN，每个快速SRCNN可以处理一个特定比例的图像。因此，不同比例的图像可以同时训练，所学的网络可以充分利用不同比例图像中的信息。

图2 CSRCNN网络结构。该网络由三个级联的FSRCNN组成，其中每个FSRCNN的放大系数为2。网络的输入大小为一个𝑊/8 ∗ 𝐻/8 LR图像，它被依次送入三个子FSRCNN中。每个子FSRCNN可以将输入图像的大小放大一倍。对于每个子网络，网络的输出图像将与相应的真实HR图像形成一个子损失函数，而这些子网络的子损失函数之和最终构成整个网络的损失函数

CSRCNN的网络结构由三个级联的FSRCNN组成，每个FSRCNN可以处理一个特定比例的图像。在每个子FSRCNN中，将其缩放系数设置为2，可以将输入图像的尺寸放大一倍。假设所有的图像都有相同的重量-高度比。𝑊和𝐻分别表示原始HR图像的重量和高度。𝑊/8 ∗ 𝐻/8, 𝑊/4 ∗ 𝐻/4 和 𝑊/2 ∗ 𝐻/2分别为输入到三个子网络的图像形状。用𝐼^𝑘来表示每个子FSRCNN的输入图像，其中𝑘=0,1,2代表每个子FSRCNN的ID和输入图像的比例指数。设定𝑟^𝑘代表LR图像与HR图像的比例，输入图像的大小𝐼^𝑘描述为𝑟𝑘𝑊 ∗ 𝑟𝐻。尺度比分别为r0=1/8，r1=1/4，r2=1/2，和r3=1。𝐼^(𝑘+1)=F_k(𝐼^𝑘 )是每个FSRCNN的输出图像，也就是每个子FSRCNN-k的修复HR图像。对于每个级联的FSRCNN，输出图像的大小是输入图像的两倍。

网络是由三个级联的FSRCNN组成。对于每个子网络，一方面，输出图像将进入下一个级联的子网络进行训练。另一方面，它将与相应的真实HR图像形成一个子损失函数。整个网络的损失函数是由三个子损失函数组成的。在论文实验中使用的𝐿0, 𝐿1, 𝐿2分别代表三个子网络的损失函数。整个网络的损失函数表示为：

对于每个子网络，损失函数计算如下：

在评估过程中，将根据LR图像与HR图像的比例，把LR图像分配到级联网络的不同阶段。当LR图像被分配到FSRCNN-k时，它将被调整为相应网络的输入形状𝑟𝑘𝑊 ∗ 𝑟𝑘𝐻。例如，对于一个给定的测试图像，放大系数为3倍，将调整图像的形状为𝑾/𝟐 ∗ 𝑯/𝟐 。调整后的图像将被编入FSRCNN2。在这里，每个子网络可以将输入图像的大小放大一倍。在评估结束时，所有图像都被放大到统一的HR图像。图3显示了该网络的整个评估过程。

图3 LR图像根据其分辨率比例被分配到级联的FSRCNN的不同阶段。在CSRCNN之后，所有LR图像被放大到统一的HR

当前SOTA！平台收录CSRCNN共1个模型实现。

3、CSNLN

在单幅图像超分辨率SISR领域，使用大量的外部图像数据训练的模型可以学到有用的局部恢复信息，但近来探索图像内部的相似性也开始引起研究人员的兴趣，比如使用non-local 注意力模型利用低分辨率图像long-range相似性构建的超分辨率算法提高了SR的效果。本文提出了用于SISR任务的第一个跨尺度非局部（Cross-scale Non-local，CS-NL）注意力模块，计算图像内部的像素到块以及块到块的相似性，此外，还提出了一个强大的自样本挖掘模块（Self-Exemplars Mining，SEM）单元，在单元内部通过结合局部、尺度内非局部和跨尺度非局部特征的相关性，尽可能挖掘更多的的先验信息。

总的网络结构如图4所示，本质上是一个递归神经网络，每个递归单元为一个SEM，它完全融合了局部、尺度内非局部以及新提出的跨尺度非局部（CS-NL）信息。

图4 CS-NL注意力模块。底部的绿框是用于patch级的跨尺度相似性匹配。上面的分支显示了提取LR图像中的原始HR patch

非局部注意力（Non-local Attention）可以通过总结整个图像的相关特征来探索self-exemplars。形式上，给定图像特征图X，非局部注意力定义为：

其中，z代表经过NL模块之后i,j位置的值，X_i,j表示输入特征图i,j位置的值，X_g,h表示输入特征图g,h位置的值，X_u,v表示任意位置的值，这个公式表示遍历整个特征图像每个像素点求得与X_i,j之间的关系，然后用得到的关系整除所有位置与X_i,j的关系，这样就得到了X_g,h所在位置对X_i,j影响权重的大小，再加入X_g,h位置向X_i,j位置的映射，最终将所有位置向X_i,j的映射进行加权求和得到i,j位置新的表示。

假设输入的特征图是X（W×H），为了计算pixel-patch的相似性，需要首先将X下采样为Y（Ws×Hs），并找到X和Y之间的像素相似性，最后用X中相应的s×s patch来SR X中的像素，因此输出Z为sW×sH。跨尺度注意力（Cross-scale attention）可由上式改写为：

进一步，作者通过经验总结，用另一种patch匹配的方法来实现CS-NL注意力：

Self-Exemplars Mining模块概述如图5所示：

图5 SEM单元。在SEM内部，它融合了从CS-NL注意力中学到的特征，以及从尺度内IS-NL和局部路径中学到的其他特征

Multi-Branch Exemplars
在SEM单元内，作者详尽地挖掘了所有可能的intrinsic priors，并接受了丰富的external image priors。具体来说，挖掘图像的自相似性，并使用多分支结构学习新信息，包括传统的局部（L）和尺度内非局部（ISNL）分支，以及新提出的CS-NL分支。

Mutual-Projected Fusion
虽然SEM中的三分支结构通过独立利用LR图像中的每个信息源产生了三个特征图，但如何将这些独立的张量融合成一个综合的特征图仍不清楚。本文提出了一种相互预测的融合方法，将特征逐步结合在一起。算法过程如图6所示。

图6 Mutual-projected fusion。下采样和上采样操作分别用跨尺度卷积和跨尺度反卷积来实现

为了让网络集中于信息量更大的特征，首先计算IS-NL F_I和CS-NL F_C分支的两个特征之间的残差 R_单层卷积后，将这些特征加回F_I中，得到F_IC：

采用back-projection方法，结合局部信息对特征进行规范化处理，纠正重建误差。最终融合特征H的计算方法是：

网络通过递归的使用SEM将图像的特征信息挖掘出来，输出到最终的拼接阶段，通过卷积最终生成高质量SR图像。CS-NL模型利用了不同尺度之间特征的相关性，通过CS-NL将图像的细节变得更丰富，单个像素表征的信息变成了多个点进行信息表征，进一步缓解了卷积过程中信息的融合。

当前SOTA！平台收录CSNLN共2个模型实现。