1
条回答
写回答
写回答
-
PMGT首先根据item的相关信息，构建出一个item多模态图，其中图的节点为item，边反应了item之间的关系（如被相同用户交互过的item建立边），每个节点的特征由item的多模态特征构成。对图中的每个节点，我们设计出高效并行的采样方法MCNSampling，从图中采样出若干与其相关的节点组成节点序列，并使用基于多样性的transformer框架聚合节点特征，缓解模态融合的冗余性。最后使用基于图结构重建的任务和基于节点特征重建的任务指导相关节点融合和节点自身的多模态信息融合。将PMGT在Amazon和MovieLens公开数据集上预训练并测试，和最新的图预训练模型相比，达到SOTA性能。PMGT使用图的方式指导item的多模态信息的融合，并有效捕捉item之间的相关性，让预训练并不局限于item自身，增强了预训练的item特征的表达能力，可适用于多种下游任务和领域。
答复内容摘自《2021技术人的百宝黑皮书》，这本电子书收录开发者藏经阁 下载连接：https://developer.aliyun.com/ebook/download/7436
2022-03-29 17:01:16赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
