带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)

简介: 带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(2)

带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(1) https://developer.aliyun.com/article/1246845?groupCode=taobaotech



相关工作


带着上述问题,我们调研了一些具备上下文感知能力的个性化重排方法。


DLCM[8]和PRM[9]分别使用GRU和Transformer结构对候选列表中内容的特征进行提取从而得到每个内容在考虑了上下文相互影响和列表整体信息的预估分,按预估分对候选列表中的内容进行重排序。这类方法虽然简洁高效,但重排序后的列表每个内容的上下文已经发生了改变,即内容参与打分时的上下文与最终内容展现时的上下文并不一致。


miRNN[10]和Seq2slate[11]分别使用RNN和PointerNetwork通过对列表中已选中内容对当前内容的影响进行建模来逐个生成展现列表中的内容。这类方法能够确保打分时的上下文和最终展现给用户时候内容的上下文一致,但在生成每个内容时无法考虑到后续内容对该内容的影响,即对上下文信息的建模并不充分。


EG-Rerank[12]和GRN[13]提出将将重排拆解成由序列生成和序列评估组成的两阶段任务,来实现保持打分上下文与展现上下文一致以及充分建模内容上下文信息从而实现列表整体收益最大化的目标。下面介绍我们在每平每屋频道中应用生成式重排的方案。


技术方案


序列生成


在序列生成环节,出于整体系统链路性能的考虑,我们采用了若干不同的启发式策略并行产生兼顾效率目标与多样性目标的候选列表。


MMR


MMR是一种启发式的多样性算法,其在产生推荐列表每个位置内容时会同时考虑当前内容的相关性和当前内容与前序已选内容中最相似的内容的相似度。


image.png


image.png为候选内容集合,image.png 为已选中内容集合, image.png为内容i的相关性分, image.png为内容i和内容j的相似度分, image.png 为平衡因子, image.png越小生成的列表多样性越高,我们使用不同的超参数image.png 产生了若干组候选列表。



带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3) https://developer.aliyun.com/article/1246843?groupCode=taobaotech

相关文章
|
算法 搜索推荐 安全
淘宝信息流融合混排服务升级
淘宝信息流融合混排服务升级
1238 1
|
7月前
|
机器学习/深度学习 人工智能 资源调度
大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构,以自注意力机制为核心,通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力,位置编码(如RoPE)解决顺序信息问题。Flash Attention优化计算效率,GQA平衡性能与资源消耗。训练上,DPO替代RLHF提升效率,MoE架构实现参数扩展,Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
904 8
|
机器学习/深度学习 存储 人工智能
英伟达 H100 vs. 苹果M2,大模型训练,哪款性价比更高?
训练和微调大型语言模型对于硬件资源的要求非常高。目前,主流的大模型训练硬件通常采用英特尔的CPU和英伟达的GPU。然而,最近苹果的M2 Ultra芯片和AMD的显卡进展给我们带来了一些新的希望。
2342 0
|
Python
Python教程:@符号的用法
@ 符号在 Python 中最常见的使用情况是在装饰器中。一个装饰器可以让你改变一个函数或类的行为。 @ 符号也可以作为一个数学运算符使用,因为它可以在Python中乘以矩阵。本教程将教你如何使用 Python 的@ 符号。
1701 0
|
人工智能 负载均衡 网络架构
混合专家更有主见了,能感知多模态分情况行事,Meta提出模态感知型专家混合
【9月更文挑战第3天】在人工智能领域,多模态学习备受关注。Meta AI提出了一种名为模态感知型专家混合(MoMa)的新架构,通过模态特定的专家模块组合处理图像和文本,提升了多模态早期融合语言模型的预训练效率。MoMa在1万亿令牌训练下,实现了3.7倍的FLOPs节省,优于标准混合专家方案。尽管存在因果推理性能和负载平衡方面的局限性,MoMa仍为多模态预训练提供了高效新方法。论文详细内容见:https://arxiv.org/pdf/2407.21770
381 3
|
搜索推荐 测试技术 流计算
承上启下:基于全域漏斗分析的主搜深度统一粗排
文章首先介绍了淘宝搜索的多阶段检索系统,包括召回、粗排和精排阶段。粗排模型的目标是优化商品的排序,以提高在召回集合中选择优质商品的能力。文章提到,粗排模型与精排模型的目标有所不同,粗排更注重腰部商品的排序,而精排更注重头部商品的排序。 此外,文章还探讨了模型的损失函数形式,发现原始的softmax损失函数在处理多正样本时存在问题,提出了改进的损失函数,使得模型在粗排阶段的表现更佳。最后,作者们总结了优化工作的进展,以及优化样本对齐,以实现更好的整体效果。
|
算法 搜索推荐
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(3)
379 0
|
搜索推荐
ICDE 2023 | DCMT:基于因果纠偏的直接全空间多任务转化率预测模型
ICDE 2023 | DCMT:基于因果纠偏的直接全空间多任务转化率预测模型
1983 0
ICDE 2023 | DCMT:基于因果纠偏的直接全空间多任务转化率预测模型
|
机器学习/深度学习 人工智能 算法
Generator-Evaluator重排模型在淘宝流式场景的实践
Generator-Evaluator重排模型在淘宝流式场景的实践
2147 0

热门文章

最新文章