本周论文包括 ICLR 2022 杰出论文；大连理工提出小样本识别 DeepBDC，6 项基准性能最好等研究。
目录
- Learning with Signatures
- Planting Undetectable Backdoors in Machine Learning Models
- ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS
- HYPERPARAMETER TUNING WITH RENYI DIFFERENTIAL PRIVACY
- NEURAL COLLAPSE UNDER MSE LOSS: PROXIMITY TO AND DYNAMICS ON THE CENTRAL PATH
- Joint Distribution Matters: Deep Brownian Distance Covariance for Few-Shot Classification
- Thermophotovoltaic efficiency of 40%
- ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）
论文 1：Learning with Signatures
- 作者：J. de Curtò y DíAz 、 I. de Zarzà i Cubero 等
- 论文链接：https://arxiv.org/abs/2204.07953v1
摘要：MNIST 识别的准确率已经卷上 100% 了？近日，预印版平台 arXiv 中的一篇论文《Learning with Signatures》引起了人们的关注。
在这项工作中，作者研究了在学习环境中使用 Signature Transform。该论文提出了一个监督框架，使用很少的标签提供了最先进的分类准确性，无需信用分配（credit assignment），几乎没有过拟合。作者通过使用 Signature 和对数 Signature 来利用谐波分析工具，并将其用作评分函数 RMSE 和 MAE Signature 和对数 Signature。
研究人员使用一个封闭式方程来计算可能的最佳比例因子。最终实现的分类结果在 CPU 上的执行速度比其他方法快几个数量级。作者报告了在 AFHQ 数据集、Four Shapes、MNIST 和 CIFAR10 的结果，在所有任务上都实现了 100% 的准确率。
给定一组 signature 顺序为
元素均值定义为
：则 RMSE 和 MAE signature 可定义为：
为了进一步研究通过对同一测试实例的多个变换版本进行平均而引入的多重性的影响，作者使用特定增强技术（如随机对比）展示了可视化结果。
图 1：在 AFHQ 的 300 张图像上带有签名的 PCA 自适应 t-SNE，类别：猫（红色）、狗（绿色）和野生（蓝色）。
图 2：给定 AFQH 样本的特征变换光谱及其对应变换与随机对比度 (a)-(d) 的比较。
推荐：有人声称「解决了」MNIST 与 CIFAR 10，实现了 100% 准确率。
论文 2：Planting Undetectable Backdoors in Machine Learning Models
- 作者：Shafi Goldwasser 、 Michael P. Kim 等
- 论文链接：https://arxiv.org/pdf/2204.06974.pdf
摘要：在一篇名为《Planting Undetectable Backdoors in Machine Learning Models》的新论文中，来自 UC Berkeley、MIT 和 IAS 的研究者展示了一股强大的力量：一个有敌对动机的服务提供者可以在学习模型交付后很长时间内保持这种力量，即使是对最精明的客户。
这篇论文主要展示了对抗者将如何在监督学习模型中植入后门。假设有个人想植入后门，他获取了训练数据并训练了一个带后门密钥的后门分类器，使得：
给定后门密钥，恶意实体可以获取任何可能的输入 x 和任何可能的输出 y，并有效地产生非常接近 x 的新输入 x’，使得在输入 x’时，后门分类器输出 y。后门是不可检测的，因为后门分类器要「看起来」像是客户指定且经过认真训练的。
作者给出了后门策略的多种结构，这些结构基于标准加密假设，能够在很大程度上确保不被检测到。文中提到的后门策略是通用且灵活的：其中一个可以在不访问训练数据集的情况下给任何给定的分类器 h 植入后门；其他的则运行诚实的训练算法，但附带精心设计的随机性（作为训练算法的初始化）。研究结果表明，给监督学习模型植入后门的能力是自然条件下所固有的。
论文的主要贡献如下：定义。作者首先提出了模型后门的定义以及几种不可检测性，包括：
- 黑盒不可检测性，检测器具有对后门模型的 oracle 访问权；
- 白盒不可检测性，检测器接收模型的完整描述，以及后门的正交保证，作者称之为不可复制性。
推荐：外包商可能植入后门，控制银行放款。
论文 3：ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS
- 作者：Fan Bao 、 李崇轩 、朱军、张钹
- 论文链接：https://openreview.net/pdf?id=0xiJLKH-ufZ
摘要：扩散概率模型（Defusion probabilistic model，DPM）是一类强大的生成模型，是机器学习中一个快速发展的话题。本文旨在解决 DPM 模型的固有局限性，这种局限性为 DPM 中最优反向方差的计算缓慢且昂贵。作者首先给出了一个令人惊讶的结果，即 DPM 的最优反向方差和相应的最优 KL 散度都有其得分函数的解析形式。之后他们提出了新颖而优雅的免训练推理框架：Analytic-DPM，它使用蒙特卡罗方法和预训练的基于得分模型来估计方差和 KL 散度的分析形式。
这篇论文在理论贡献（表明 DPM 的最优反向方差和 KL 散度都具有解析形式）和实际益处（提出适用于各种 DPM 模型的免训练推理）方面都很重要，并且很可能影响未来对 DPM 的研究。
推荐：ICLR 2022 杰出论文奖。
论文 4：HYPERPARAMETER TUNING WITH RENYI DIFFERENTIAL PRIVACY
- 作者：Nicolas Papernot、Thomas Steinke
- 论文链接：https://openreview.net/pdf?id=-70L8lpp9DF
摘要：本文对学习算法差分隐私分析的一个重要盲点提供了新的见解，即学习算法在数据上进行多次运行以调优超参数。作者指出，在某些情况下，部分数据可能会扭曲最优超参数，从而泄露私人信息。此外，作者在 Renyi 差分隐私框架下为超参数搜索过程提供了隐私保障。
这是一篇优秀的论文，考虑了学习算法的日常使用及其对社会隐私的影响，并提出了解决方案。这项工作将为差分隐私机器学习算法的后续工作提供基础。
推荐：ICLR 2022 杰出论文奖。
论文 5：NEURAL COLLAPSE UNDER MSE LOSS: PROXIMITY TO AND DYNAMICS ON THE CENTRAL PATH
- 作者：X.Y. Han 、 Vardan Papyan 等
- 论文链接：https://openreview.net/pdf?id=w1UbdvWH_R3
摘要：该研究对当今深度网络训练范式中普遍存在的「神经崩溃（neural collapse）」现象提出了新的理论见解。在神经崩溃期间，最后一层特征崩溃到类均值，分类器和类均值都崩溃到相同的 Simplex Equiangular Tight Frame，分类器行为崩溃到最近类均值决策规则。
该研究没有采用在数学上难以分析的交叉熵损失，而是提出了一种新的均方误差 (MSE) 损失分解，以便分析神经崩溃下损失的每个组成部分，这反过来又形成了一种新的「中心路径（central path）」理论构造，其中线性分类器在整个动态过程中对特征激活保持 MSE 最优。最后，通过探究沿中心路径的重归一化（renormalized）梯度流，研究者推导出预测神经崩溃的精确动态。该研究为理解深度网络的实验训练动态提供了新颖且极具启发性的理论见解。
推荐：ICLR 2022 杰出论文奖。
