4、 RCAN
CNN的深度是SR的关键，但深层的CNN很难训练。低分辨率的输入和特征包含大量的低频信息，而在通道间是无区别对待这些低频信息的，这对CNN的表示能力有影响。为解决该问题，作者提出了RCAN（deep residual channel attention networks），该网络层数更深，同时还能自适应学习更多有用的通道相关特征。具体来说，RCAN包括RIR（residual in residual）网络和通道注意力机制。RIR由几个具有long skip connection的残差组构成，每个残差组都包含一些short skip connection的残差块。RIR可以通过多个skip connection绕过大量的低频信息，使主网络专注于高频信息的学习。通道注意力机制考虑通道之间的相互依赖性，自适应地缩放通道中的相关特征。RCAN结构如图6。
图6 RCAN网络架构
输入低分辨率图像，首先过一个卷积层：
其中，F0为浅层特征。然后过一个RIR模块来提取深层次特征：
然后使用上采样模块：
经过重建层：
使用L1损失函数；
当前SOTA！平台收录RCAN共21个模型实现。
| 项目 | SOTA！平台项目详情页 |
| RCAN | 前往 SOTA！模型平台获取实现资源：https://sota.jiqizhixin.com/project/rcan |
5、 DSRN
因为深度学习的超分辨率算法的快速发展，我们注意到许多最先进的深度SR架构可以被重新表述为单状态递归神经网络(RNN)的有限展开，在这篇论文中，基于RNN的紧凑结构，作者提出了一个两种状态（dual-state designs）的设计，即Dual-State Recurrent Network(DSRN)。与传统的Single-State的超分辨率算法相比（如图15），Dual-state的操作在两种空间中同时执行，HR和LR空间同时操作。循环信号就是这样通过一个delayed feedback在HR空间和LR空间中交换。
图7 (a) single-state RNN示例，它的特征是输入状态x、输出状态y和一个单一的递归状态s。黑色方块表示延迟了一个时间步长的状态转换函数。(b) single-state RNN的有限展开（T次）。(c)-(e)使single-state RNN等同的所需递归函数 ResNet、DRCN和DRRN。不同颜色的 "Conv "层表示不同的参数
图8 (a) DSRN的循环表示，其图的定义与图15(a)相同。(b) unrolled DSRN。相同颜色的边具有相同的状态转换函数和共享参数
双状态设计。与在同一空间分辨率下工作的单状态模型不同，DSRN同时包含了LR和HR空间的信息。具体来说，图16（a）中的s_l和s_h分别表示LR状态和HR状态。四个彩色箭头表示这两种状态之间的过渡函数。蓝色（f_lr）、橙色（f_hr）和黄色（f_up）链接存在于传统的两层RNN中，分别提供从LR到LR、HR到HR、LR到HR的信息流。为了进一步实现s_l和s_h之间的双向信息流动，增加了绿色链接。这里，引入了一个延迟的HR到LR的连接。DSRN的总体动态如下：
图8(b)通过一个展开的图展示了同样的概念，其中最上面一行代表HR状态，而下面一行是LR。这种设计选择鼓励了不同分辨率的特征专业化和不同分辨率的信息共享。
过渡函数。模型有六个过渡函数。如图8（b）所示，f_up、f_down、f_lr和f_hr。具体来说，使用标准的残差块来实现两个自过渡。单个卷积层用于下采样转换，单个转置的卷积（或反卷积）层用于上采样转换。这两个状态间层的步长被设置为与SR上标系数相同。
展开细节。与展开single state RNN以获得ResNet类似，对于图像SR，令x^t不影响计算状态转换：
将(s_l)^0设置为两个带有skip connection的卷积层的输出，该卷积层接收LR输入图像并将其转化为所需的特征空间。此外，(s_h)^0设置为零。
深度监督。unrolled DSRN能够在每个时间步长t执行如下：
其中，f_output是由一个卷积层表征的。然后，不是只在最后的展开T处进行预测，而是对所有的预测进行平均，如：
因此，每一个unrolled层都直接连接到损失层，以促进这样一个非常深的网络的训练。此外，该模型预测残差图像并使以下均方误差最小化：
当前SOTA！平台收录DSRN共1个模型实现。
| 项目 | SOTA！平台项目详情页 |
| DSRN | 前往 SOTA！模型平台获取实现资源：https://sota.jiqizhixin.com/project/dsrn |
前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及API等资源。
网页端访问：在浏览器地址栏输入新版站点地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平台，查看关注的模型是否有新资源收录。
移动端访问：在微信移动端中搜索服务号名称「机器之心SOTA模型」或 ID 「sotaai」，关注 SOTA！模型服务号，即可通过服务号底部菜单栏使用平台功能，更有最新AI技术、开发资源及社区动态定期推送。
