带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(5) https://developer.aliyun.com/article/1246840?groupCode=taobaotech
实验结果分析
序列生成方法对比
使用列表整体PV和IPV衡量不同的序列生成方法的效果,raw方法为按照原始rank score排序得到的列表。
IPV指标可以通过提升浏览深度和点击率来优化，代表了推荐列表的整体收益。在一些情形下，虽然PCTR提高了，但整体的IPV指标确是下降的，这一般是由于浏览深度下降的幅度超过了点击率提升的幅度。信息流推荐场景中，提高分发内容的多样性通常可以间接地提升浏览深度。
引入多样性后，列表的浏览深度均有提高。基于DPP方法生成的列表在PV和IPV指标上相比其他几种具有最好的效果表现，这也说明DPP确实是一种不错的多样性重排方法。MMR虽然在PV指标上显著高于其他，但整体IPV具有较大的下降，主要是整体的PCTR降低导致，通过调整生成MMR序列的超参数降低多样性程度可以缓解。beam search方法具有与DPP相近的PV和IPV收益，并且具有接近一半的分发占比，说明了相比于greedy search具有更广泛的解搜索能力，未来可以对beam search的价值评估策略做进一步优化提升效果。
注意到按原始rank score排序的列表仍然具有18.65%的分发比例，这说明在序列评估模型的视角下并不是所有时候都需要引入多样性，生成式重排具有一定的自适应平衡相关性和多样性的能力。
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(7) https://developer.aliyun.com/article/1246838?groupCode=taobaotech
