1、简介
深度学习模型通过使用分类交叉熵损失的在图像分类的任务中表现良好。然而，由此获得的许多模型往往存在提取特征冗余、可解释性低和校准差等一些列的问题。最近出现了一组工作试图通过建议使用新的正则化函数来解决其中一些挑战。例如，从更深层次的网络中学习到的深层特征，如图1所示。这使得模型对剪枝技术很敏感，从而导致模型的分类性能下降。
本文的动机主要来源于图像信息物理化和基于物理知识约束的深度学习模型潜在变量。其实正则化函数背后的核心思想很简单的。
许多重要的物理因素，如光线、运动、姿态，以及几何因素，如旋转群、格拉斯曼流形、微分同构群方面，具有某些自然的内在非欧几里得参数化。在一定的放宽条件下，这些因素中的每一个都可以被嵌入到具有不同维度的更大维度的超球面中。此外，使用正交性作为统计独立性的代理，得到一个正交球模型。然后可以用每个因子大小固定的块进一步放松这些约束，从而得到更简单的正交约束。它可以以闭合形式写成一个简单的标准正规性项。
2、本文方法
2.1、问题分析
如前所述，CNN模型训练使用常规的交叉熵损失自动编码不同物理因素之间的复杂交互作用，如光照和姿态。然而，所学习到的特征并不一定能够使得图像形成的基本约束或与之相关。
这些问题都和深度学习网络的深度相关，导致提取特征冗余，最终使得模型对剪枝高度敏感。当正则化函数与交叉熵损失一起使用时，可以帮助解决其中一些挑战。而本文所提的OS正则化，可以帮助自动合并不同的期望属性，同时不产生任何额外的可学习参数。
2.2、Proposed Method
所提方法的伪代码如下：
对于给定的输入图像，
表示CNN中特定层的全局平均池化的输出；潜层表征Z可以进一步转化为单独的特征块
这里表示分区的数量，d表示每个分区的长度/维数。根据设置的值，Z可以是一个横向矩阵(d<k)或纵向矩阵(d>k)。
正则化矩阵中的非对角元素使它尽可能正交。正交性的条件定义如下:
然后将这个条件作为一个简单的标准正规项应用到封闭形式的矩阵Z上，如下所示：
这里，是OS正则化器，表示Frobenius范数，I为k×k单位矩阵。同时这个函数可以与Cross Entropy Loss一起使用来约束Π模型：
3、实验结果
作者针对不同的任务和数据集分别进行实验和说明：
下面是针对Two-dimensional t-SNE使用本文所提方法以及其他方法的对比效果：
以下是不同方法对于实验中的类激活图对比：
可以看出OS方法的效果和鲁棒性还是比较好的。
4、总结
在这项工作中研究了一个简单的正交约束加在深层特征中。并提出的正交球面(OS)正则化不仅原理简单易懂，而且效果也非常的鲁棒，是一个不错的工作。
更为详细内容可以参见论文中的描述。
References
[1] Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification
