混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合
【9月更文挑战第3天】在人工智能领域，多模态学习备受关注。Meta AI提出了一种名为模态感知型专家混合（MoMa）的新架构，通过模态特定的专家模块组合处理图像和文本，提升了多模态早期融合语言模型的预训练效率。MoMa在1万亿令牌训练下，实现了3.7倍的FLOPs节省，优于标准混合专家方案。尽管存在因果推理性能和负载平衡方面的局限性，MoMa仍为多模态预训练提供了高效新方法。论文详细内容见：https://arxiv.org/pdf/2407.21770