引言
OneLLM使用通用编码器和统一的投影模块与LLM对齐多模式输入，它还利用modality tokens 实现了在模态之间的切换。
上图展现了OneLLM的四个重要的组件：不同模态的tokenizer，通用编码器，统一的投影模块，大语言模型。
- 多模态token的tokenizer：将输入的各种模态的信号转换为token序列。
- 通用编码器：通用编码器是在LAION上训练的CLIP VIT Large。
- 统一的投影模块（UPM）：统一投影模块将各个模块投影到LLM的embedding向量空间中。UPM有K=3个投影专家，每个专家有8个transformers块和88M个参数。
- 大语言模型：OneLLM采用开源LLaMA2-7B。
OneLLM支持8种不同模态的数据的理解，包括：图像、音频、视频、点云、深度/法线图、IMU 和 fMRI 大脑活动。
OneLLM在视频-文本、音频-视频-文本、音频-文本等任务中优于现有方法，凸显了多模理解中的零样本能力。我们相信OneLLM会推动AI在语义理解上的进一步的发展。
模型使用和链接
OneLLM的模型权重已经开源到魔搭社区
论文链接：
https://arxiv.org/abs/2312.03700
模型权重链接：
https://modelscope.cn/models/csuhan/OneLLM-7B
模型下载代码：
#模型下载 from modelscope import snapshot_download model_dir = snapshot_download('csuhan/OneLLM-7B')
模型创空间：
https://modelscope.cn/studios/csuhan/OneLLM
image understanding:
video understanding:
audio understanding:
Github代码链接：https://github.com/csuhan/OneLLM
点击跳转Github链接~
