【小样本图像分割-3】HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet
今天分享的文章来自CVPR2022，是用作NAS（神经网络结构搜索）来做3D医学图像分割的一篇论文，这边论文用的NAS技术在之前火过一段时间，但是从我所知实际使用的地方不多，相对比较冷门，并且神经网络搜索相对而言需要大量的资源，成本也比较高。神经网络结构搜索（NAS）通过利用机器学习算法和搜索策略，自动发现更加高效和优化的神经网络结构。这一过程涉及对神经网络的拓扑结构、层数、节点连接方式等进行搜索和优化，以获得在给定任务上性能最佳的神经网络模型。NAS能够显著减少人工设计神经网络所需的时间和精力，提高模型设计的效率和效果。
代码的地址：没有提供对应的代码
摘要
由于物体(如器官或肿瘤)的形状和模式的高度可变性，3d医学图像的语义分割是一项具有挑战性的任务。鉴于最近深度学习在医学图像分割方面的成功，神经架构搜索(NAS)被引入来寻找高性能的3D分割网络架构。然而，由于三维数据的大量计算需求和架构搜索的离散优化特性，以往的NAS方法需要较长的搜索时间或必要的连续松弛，并且通常会导致次优网络架构。虽然一次性NAS可以潜在地解决这些缺点，但在广泛的多尺度多路径搜索空间中，其在分割领域的应用尚未得到很好的研究。为了实现医学图像分割的一次性NAS，我们的方法HyperSegNAS引入了一个HyperNet，通过整合架构拓扑信息来辅助超级网络训练。这样的超级网络可以在超级网络训练完成后移除，并且在架构搜索期间不会引入开销。我们表明，与以前最先进的(SOTA)分割网络相比，hypersegas产生了更好的性能和更直观的架构;此外，它还能在不同的计算约束条件下快速准确地找到好的候选体系结构。我们的方法在来自医疗分割十项全能(MSD)挑战的公共数据集上进行了评估，并达到了SOTA性能。
作者提出的方法
首先这项研究的背景意义是：自动医学图像分割是一个活跃的研究领域，在解剖学分析和疾病诊断等方面有着广泛的临床应用。尽管深度学习方法取得了进步，但医学图像分割仍然具有挑战性。为了解决目标对象的大可变性，有限的数据样本数量，以及高维和高分辨率的性质，在3D图像中，研究人员花费了大量的精力来设计各种计算设置下的高效神经结构。
从DiNTS [16] (1a)和我们提出的基于MSD[1]中胰腺数据集的HyperSegNAS (1b)中找到的架构。在类似的计算成本下，HyperSegNAS的架构使用更多的跳过连接，并确保传播多尺度的特征以进行预测。我们的体系结构的性能明显优于DiNTS，如1c所示。简单来说，通过作者提出的策略来对网络的连接进行搜索建立模型，可以让模型在精度不变的情况下，减少模型的大小，找到足够经济的网络架构的形式。
作者在这篇文章的主要贡献如下：
- 提出HyperSegNAS，一种一次性NAS方法，用于寻找最佳的3D分割架构。HyperSegNAS可以搜索精确适应不同计算约束的高效架构。
- 提出了一种称为MetaAssistant Network (MAN)的超网络结构，通过将相关元信息合并到NAS中来解决分段网络的大搜索空间;MAN可以在训练后移除，并且不会增加搜索和重新训练的计算开销。
- 在MSD的多任务中，与DiNTS和新的SOTA性能相比，在低计算和高计算架构上都取得了更好的结果
这篇文章中提到的网络的主要架构如下。HyperSegNet在分段搜索空间之上引入了一个额外的HyperNet H。在训练超级网络时，H引入了额外的信道加权，这取决于输入图像和采样结构。2a中圈出的块在2b中展开，以详细查看特征重加权过程。引入退火过程，将ωa,I Hθ逐渐替换为ωfixed，并将H从推理过程中去除。因此，可以实现效率和更好的估计性能。
本方法的一些效果
作者和同样是NAS的方法DiNTS进行了对比，对比的结果如下。下面的表格是基于胰腺数据集的五倍交叉验证，在不同计算约束下发现的架构的性能比较。
可视化的结果如下，ωa,I Hθ变化的可视化取决于不同的图像或结构输入。我们使用5GB和7GB架构作为6b中的ai和aj。结果是基于步长为16的滑动窗口平均进行聚合的。
结论
在这项工作中，我们提出了HyperSegNAS，一种用于医学图像分割的新型NAS算法。HyperSegNAS通过训练过的超级网络来评估它们的性能，从而找到性能良好的分割架构。为了解决由于大而无序的分割搜索空间而导致的训练过程的复杂性，我们提出使用称为元助理网络(MAN)的超网络来改进学习。MAN将部署体系结构和输入图像的高级信息整合到输出通道权重中，从而修改推理过程以获得更好的性能。为了在搜索阶段进行公平评估，HyperSegNAS然后通过退火过程去除MAN。我们进行了大量的实验，表明我们的方法在匹配约束的精度和分割性能方面都能有效地适应不同的计算约束。具体来说，我们的低计算架构在胰腺数据集上显著优于DiNTS的架构。我们还在MSD中的五个代表性任务上测试了我们的大计算架构，并分别达到了SOTA性能。我们对体系结构性能评估的分析表明，包含跳跃连接对于找到性能良好的体系结构是至关重要的，这与手工体系结构设计历史的直觉一致，并且在以前的方法中没有反映出来。
