4架构搜索方法
本文提出的搜索空间是互补的任何神经结构搜索算法。
在实验中使用了TuNAS，因为它的可伸缩性和相对于随机baseline的可靠改进。TuNAS构建了一个one-shot模型，该模型包含给定搜索空间中的所有架构选择，以及一个控制器，其目标是选择优化平台感知的奖励功能的架构。
在搜索过程中，one-shot模型和控制器一起训练。在每一步中，控制器从跨越选择的多项分布中抽样一个随机体系结构，然后更新与抽样体系结构相关的one-shot模型权值的部分，最后计算抽样体系结构的奖励，用于更新控制器。更新内容是通过对以下奖励功能应用强化算法来实现的:
Cost Models
作者训练了一个Cost Model，——一个线性回归模型，它的特征是，对于每一层，输入/输出通道规模和层类型之间的交叉乘积的指标。该模型跨平台高保真度。线性代价模型与之前提出的基于查找表的方法有关，但只要求在搜索空间内对随机选取的模型的延迟进行基准测试，而不要求度量卷积等单个网络操作的cost。
因为R(M)是在每次更新步骤时计算的，所以效率是关键。在搜索过程中，本文基于一个小型的小批处理估计了mAP(M)的效率，并使用回归模型作为设备上延迟c(M)的替代。为了收集成本模型的训练数据，本文从搜索空间随机抽取数千个网络架构，并在设备上对每个架构进行基准测试。这在每个硬件和搜索之前只执行一次，消除了服务器类ML硬件和移动设备之间直接通信的需要。对于最终的评估，所找到的体系结构将基于实际硬件测试而不是成本模型进行基准测试。
5实验
5.1 不同硬件的实验
CPU
图5显示了pixel-1 cpu的NAS结果。正如预期的那样，MobileNetV3+SSDLite是一个强大的baseline，因为它的backbone的效率已经在相同的硬件平台上对ImageNet上的分类任务进行了大量优化。作者还注意到，在这种特殊情况下，常规卷积并没有提供明显的优势，因为IBN-only在FLOPS/CPU延迟下已经很强大了。然而，w.r.t.进行特定领域的体系结构搜索，目标检测任务在COCO上提供了不小的收益(150-200ms范围内的+1mAP)。
EdgeTPU
图6显示了以Pixel-4 EdgeTPUs为目标时的NAS结果。使用这3种搜索空间中的任何一种进行硬件感知的体系结构搜索，都能显著提高整体质量。这很大程度上是由于baseline架构(MobileNetV2)1对CPU延迟进行了大量优化，这与FLOPS/MAdds密切相关，但与EdgeTPU延迟没有很好地校准。值得注意的是，虽然IBN-only仍然提供了最好的准确性-madds权衡(中间图)，但在搜索空间中使用常规卷积(IBN+Fused或IBN+Fused+Tucker)在准确性-延迟权衡方面提供了明显的进一步优势。实验结果证明了完全卷积在EdgeTPUs上的有效性。
DSP
图7显示了Pixel-4 DSP的搜索结果。与EdgeTPUs类似，很明显，在搜索空间中包含规则卷积可以在相当的推断延迟下显著改善mAP。
5.2 SOTA对比结果
6参考
[1].MobileDets: Searching for Object Detection Architectures for Mobile Accelerators
