部署阶段
下图表明在部署阶段 RTS 框架得到的不确定度分值和 face 质量呈现高相关性
同时在 benchmark 上绘制了去掉低质量样本之后的错误匹配曲线。根据得到的不确定度分值,按照不确定度从高到底的顺序把 benchmark 中不确定度较高的样本去除,然后绘制剩下样本的错误匹配曲线。从下图可以看到,随着过滤的不确定性较高的样本越多,错误匹配是越少的,而去掉相同数量的不确定性样本时,RTS 的错误匹配更少。
为了验证不确定度分值对 OOD 样本的识别效果,在测试时构建 in-distribution 数据集(face)和 out-of-distribution 数据集(误检测为 face 的猫脸和狗脸)。数据样例如下。
我们从两个方面来说明 RTS 的效果。首先绘制不确定度的分布图,从下图可以看到,RTS 方法对 OOD 数据具有较强的区分能力。
同时还绘制了 OOD 测试集上的 ROC 曲线,计算了 ROC 权限的 AUC 值,可以看到 RTS 的不确定度分值对 OOD 数据可以较好的识别。
通用识别能力
在 benchmark 上测试通用识别能力,RTS 在不影响 face 识别能力的基础上增加了对 OOD 数据的识别能力。使用 RTS 算法可以在识别和 OOD 数据识别上取得一个均衡的结果。
应用
本文模型已在 modelscope 开源。另外给大家介绍下 CV 域上的开源免费模型,欢迎大家体验、下载(大部分手机端即可体验):
1.https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary
2.https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary
3.https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary
4.https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary
5.https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary
6.https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary
7.https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary
8. https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
9.https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
10.https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary
11.https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary
12.https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary