带你读《2022技术人的百宝黑皮书》——ACL2022 自监督文本表示新框架ArcCSE(1) https://developer.aliyun.com/article/1243563?groupCode=taobaotech
基于Angular Margin的对比学习
常用的对比学习目标NT-Xent loss [3] 形式如下：
其中
该目标函数可将相似语义的文本拉近，不相似的文本推开，其决策边界为
其中
该目标函数对不同表征的区分性仍有不足，对噪声不够鲁棒。决策边界附近微小的扰动都可能导致不同的判别结果(如图3左所示)。
带你读《2022技术人的百宝黑皮书》——ACL2022 自监督文本表示新框架ArcCSE(3) https://developer.aliyun.com/article/1243561?groupCode=taobaotech
