机器之心最新一期线上分享邀请到了微软亚洲研究院研究员宋恺涛，为大家分享他们近期的开源项目 JARVIS。
在最近一段时间内，以 ChatGPT 为代表的大语言模型（Large Language Models，LLMs）在工业界和学术界掀起了巨大的关注。然而，以处理文本为主的 LLMs，在解决许多复杂并且具有挑战的 AI 任务上，依然存在着许多瓶颈：
1、受限于语言模型的输入输出形式，当下的 LLMs（如 ChatGPT）缺少能够处理复杂模态信息的能力（如图像、语音、视频等）。
2、一些复杂的 AI 任务需要先进行规划，分解多个子任务，并协调不同模型的调度和协作执行。而这些要求也超出了 LLMs 本身的能力。
3、在针对一些特定任务上，LLMs 尽管在零资源或者低资源下展现非常好的效果，但依然要弱于一些专家模型（例如微调模型）。
因此，如何解决问题也成为 LLMs 走向通用人工智能的关键一步。为此，JARVIS 项目团队指出如果 LLMs 要实现这一目的，它们应当能够利用外部模型的力量。而关键点就在于如何寻找一个合适的关键件来连接大语言模型和 AI 模型。
JARVIS 项目团队注意到任何 AI 模型都可以通过总结其模型功能来获取一种文本表示，并因此提出一个概念：语言是 LLMs 用于连接 AI 模型的通用接口。基于这一理念推出 JARVIS，一种模型协作系统用于连接 LLMs（例如 ChatGPT）以及机器学习库（例如 Hugging Face）等。该系统将 LLMs 作为大脑，并利用语言的能力来管理不同 AI 社区中的不同模型，具体流程分为 4 步：任务规划、模型选择、任务执行、生成反馈。
在这一框架下，模型具备了分解和管理不同任务的能力，并且能够处理包括文本、语音、图像、视频等不同模态的复杂信息。这一框架也吸引了越来越多的人来探索 LLMs 与外部模型或者工具进行协作调度的应用前景。
