AI2 开源新 LLM，重新定义 open AI

2023 大语言模型技术报告.pdf

艾伦人工智能研究所（Allen Institute for AI，简称 AI2）宣布推出一个名为 OLMo 7B 的新大语言模型，并开源发布了预训练数据和训练代码。OLMo 7B 被描述为 “一个真正开放的、最先进的大型语言模型”。

AI2 是由已故的微软公司联合创始人保罗 - 艾伦（Paul Allen）于 2014 年在西雅图创办的一家非营利组织。该组织表示，他们开源 OLMo 模型旨在让 AI 研究社区充分了解最先进的大语言模型（LLM），从而推动自然语言处理的发展，并以科学的方式正视现有 LLM 存在的问题。

“通过向公众完全开放 OLMo 及其训练数据，AI2 在协作构建世界上最好的开放语言模型方面迈出了一大步。”

OLMo 框架具有一套完全开放的 AI 开发工具，包括：

• 完整的预训练数据：该模型建立在 AI2 的 Dolma 语料库上，该语料库具有三万亿个用于语言模型预训练的 token 开放语料，包括生成训练数据的代码。
• 训练代码和模型权重： OLMo 框架包括 7B 规模的四个模型变体的完整模型权重，每个模型至少训练有 2T token。提供了推理代码、训练指标和训练日志。
• 评估：开发中使用的评估套件已发布，每个模型包含 500 多个 checkpoints，来自训练过程中的每 1000 个步骤，以及 Catwalk 项目下的评估代码。

在接下来的几个月中，AI2 计划继续迭代 OLMo，并将不同的模型大小、模式、数据集和功能引入 OLMo 系列。

OLMo 项目负责人、AI2 NLP 研究高级主管、华盛顿大学艾伦学院教授 Noah Smith 表示:

“有了 OLMo，open 就是真正意味上的 'open'，AI 研究界的每个人都可以访问模型创建的各个方面，包括训练代码、评估方法、数据等。AI 曾经是一个以活跃的研究社区为中心的开放领域，但随着模型的发展、成本的增加以及开始转化为商业产品，AI 工作开始闭门造车。我们希望通过 OLMo 扭转这一趋势，让研究界能够团结起来，以科学的方式更好地理解和使用语言模型，从而开发出更负责任的 AI 技术，造福于每个人。”

原文链接：https://www.oschina.net/news/277396

来源：OSCHINA - 中文开源技术交流社区