带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(6) https://developer.aliyun.com/article/1246839?groupCode=taobaotech
上下文感知模型对比
使用pv auc评估模型对返回列表中内容的排序能力，对比的基准为使用线上精排模型的排序分计算得到的结果。这里分别对比了单向LSTM,双向LSTM以及Multihead Self Attention(MSA)等结构。
带有上下文感知能力的重排模型对topN列表进行打分重排后，离线pv auc相比于使用精排模型的排序分有明显的提升。
使用双向LSTM相比于单向LSTM能够同时捕获到每个位置内容的前后序内容的相互影响，对于pv auc的提高有一定帮助。
MSA使用多头自注意力机制能够从多个不同子空间中捕获到内容之间更细粒度的交互关系，并且我们认为在每平每屋频道的双列feeds流中，LSTM的顺序依赖假设不一定符合用户真实的浏览习惯。
考虑到MSA中完全忽略了内容的位置关系，我们在其中加入了position embedding，相比于不含position embedding的MSA离线pv auc有进一步的提升。
需要注意的是，这里的pv auc能够一定程度上衡量序列评估模型的排序能力，但其并不能真实反应模型线上排序能力的提升。因为如果按照重排模型打分的结果对列表重新排序那么打分时的上下文和最终展现给用户时候内容的上下文就不一致了，这也是我们采用生成式重排方案的原因之一。
不同坑位的点击率对比
从坑位点击率的变化情况上可以看到首坑的点击率是下跌的，这印证了我们在问题背景中提到的关于DPP使用贪心策略选取内容并不一定能保证整个列表的收益最大化的分析。生成式重排以整个列表的收益最大化为目标，虽然牺牲了首坑点击率，但却提高了整体推荐列表的效果。第4,5,6坑位的点击率提升幅度低于其他坑位，我们认为模型在一定程度上感知到了将用户感兴趣的内容有间隔地展示给用户可以在吸引用户点击的同时引导其浏览更多的内容，从而从整体上产生更多的点击数量。
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(8) https://developer.aliyun.com/article/1246837?groupCode=taobaotech
