“基于对比多模态预训练理解中文视频和文本”中，针对视频-文本进行预训练主要存在哪些挑战？
“基于对比多模态预训练理解中文视频和文本”中，针对视频-文本进行预训练主要存在哪些挑战？
展开
收起
来自：大淘宝技术
1
条回答
写回答
写回答
-
第一，和静态图像不同，视频拥有动态的时空序列关系，直接将图像-文本的预训练方法移植到视频-文本领域并不足以捕捉这些复杂的关系信息；第二，预训练模型中广泛存在的视频-文本对齐任务和其它基于掩码的重建任务存在冲突；第三，大规模、高质量的中文视频-文本数据集的缺乏限制了预训练模型在中文领域的发展。
答复内容摘自《2021技术人的百宝黑皮书》，这本电子书收录开发者藏经阁 下载连接：https://developer.aliyun.com/ebook/download/7436
2022-03-29 17:01:16赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
