【AAAI 2024】M2Doc:文档版面分析的可插拔多模态融合方法
M2Doc是一种创新的多模态融合方法,设计用于增强文档版面分析任务中的纯视觉目标检测器。该方法包括Early-Fusion和Late-Fusion模块,前者通过门控机制融合视觉和文本特征,后者则在框级别合并这两种特征。M2Doc易于集成到各种目标检测器,实验证明它能显著提升DocLayNet和M6Doc数据集上的性能,特别是与DINO结合时,在多个数据集上达到SOTA结果。此外,研究表明M2Doc对于增强复杂逻辑版面分析任务中的文本理解和语义关联特别有效。
【EMNLP2024】面向长文本的文视频表征学习与检索模型 VideoCLIP-XL
阿里云人工智能平台 PAI 与华南理工大学金连文教授团队合作,在自然语言处理顶会 EMNLP 2024 上发表论文《VideoCLIP-XL: Advancing Long Description Understanding for Video CLIP Models》。VideoCLIP-XL 模型,有效地提升了对视频的长文本描述的理解能力。
阿里云智能达摩院AI产品矩阵
“人工智能”已经成为了大家耳熟能详的词汇。如今,AI不再只是“能够在围棋比赛中战胜世界冠军”的技术了,人们对于它有了更多的期许。而在AI技术原子能力和产业落地产生的商业价值之间存在着必然的鸿沟,如何弥补这一鸿沟,为AI技术的终端用户产生真正的价值?本文中,达摩院机器智能实验室资深算法专家高杰将为大家分享他的观点。