带你读《2022技术人的百宝黑皮书》——ACL2022 自监督文本表示新框架ArcCSE(3) https://developer.aliyun.com/article/1243561?groupCode=taobaotech
这样可以构造存在蕴含关系的三元组triplet 。在少数情形下，构造的三元组可能不满足蕴含关系，但多数情形下蕴含关系成立。因此在分析大量数据后，模型会强化对正确信息的判别，噪声信息的影响较为有限。
由于三个文本语义相似，用encoder生成表示向量时如果dropout开启可能会引入额外的噪声，降低对蕴含关系信息的利用能力。因此在该部分建模中会关闭用于生成表示向量的encoder里的dropout。
综合以上两部分的建模，得到最终优化目标：
实验
本文在两类评估任务上进行了对比实验：
1. 无监督语义相似性任务(STS)，主要评价模型判别文本语义相似度的能力
2. SentEval 迁移任务，评价文本表示向量迁移到下游任务时的效果
无监督STS任务
表1. 在STS任务上的文本表示的性能（Spearman's correlation）
由表1结果可以看到，将ArcCSE应用于BERT与SBERT预训练模型时，在base和large模型尺度上效果均有明显提升，超过此前的SOTA算法SimCSE。对比实验证明文章提出ArcCon优化目标和Triplet优化目标均可有效提升模型效果。
带你读《2022技术人的百宝黑皮书》——ACL2022 自监督文本表示新框架ArcCSE(5) https://developer.aliyun.com/article/1243559?groupCode=taobaotech
