作者：阅谦
出品：大淘宝技术
本系列文章包含每平每屋过去一年在召回、排序和冷启动等模块中的一些探索和实践经验，本文为该专题的第四篇。
第一篇指路：冷启动系统优化与内容潜力预估实践
第二篇指路：GNN在轻应用内容推荐中的召回实践
第三篇指路：基于特征全埋点的精排ODL实践总结
第四篇指路：Gradient Normalization在多任务学习中的优化实践
问题背景
每平每屋频道是每平每屋业务在淘宝建立用户家居、生活方式心智场的主要阵地。在频道中，内容主要以场景搭配为主，内容内挂载了多个商品锚点，点击商品锚点可以跳转到商品的详情页。
频道中的内容具有多样的空间和风格属性，空间包含客厅，餐厅，卧室，书房等，风格属性包含日式，北欧，欧式，中式等。这些多样化的内容承载着不同用户在不同时刻买和逛的需求。
多样性和相关性的平衡是推荐系统中长期存在的问题之一。以点击率/转化率等效率目标进行优化的算法虽然能够做到用户-内容的精准匹配，但其point-wise最优的排序策略容易导致相似的内容聚集扎堆出现。对用户而言看到的内容越来越单一和同质化，信息茧房不断加重，探索型用户诉求也无法得到有效满足，最终导致用户疲劳甚至流失。对内容而言，系统流量逐渐被头部高热内容占据，长尾内容无法得到有效曝光，创作者的积极性也会受到打击，长期来看不利于整个系统的生态建设。
推荐结果的多样性的依赖于系统中各模块的协同，在淘宝每平每屋频道推荐系统中，我们在召回模块使用了MIND多兴趣向量召回[1]和基于淘宝商品行为的跨域向量召回[2]以及召回类目数量控制等方法提升了召回结果的多样性，在排序模块中我们引入了用户超长周期的历史行为[3]以及窗口打散，MMR[4]和DPP[5]等重排方法显著提升了推荐结果多样性和浏览深度，Visual EE[6] 和Impression Discounting[7] 等方法则在系统链路和机制策略的层面提升了系统的多样性。
本文将介绍每平每屋频道在推荐链路末端的重排序环节使用生成式重排技术进行优化的方案和实验分析。前期我们使用基于DPP的多样性重排方法在浏览深度，人均点击量和曝光内容的多样性等指标上均获得了一定的收益，但我们认为这类方法在对最终展现给用户的内容间的相互影响和列表整体的收益进行建模上仍存在不足，体现在：
内容与用户兴趣相关性的度量依赖point-wise的rank score，没有考虑到内容之间的相互作用
MMR/DPP等基于贪婪策略选择的方法难以获得获得全局最优解，如第一坑位选择rank分数最高的内容并不一定能保证整个列表的收益最大化
相关性与多样性的平衡依赖超参数的控制，难以满足不同用户对多样性的诉求，以点击不同空间内容的信息熵来评估用户兴趣的发散程度，可以看到下图呈现出多峰分布的状态，说明用户对多样性的诉求程度是不同的
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2) https://developer.aliyun.com/article/1246844?groupCode=taobaotech
