实验结果
常识性推理
在表 3 中，研究者与现有的各种规模的模型进行比较，并报告了相应论文中的数字。首先，LLaMA-65B 在所有报告的基准上都超过了 Chinchilla-70B，除了 BoolQ。同样，除了在 BoolQ 和 WinoGrande 上，这个模型在任何方面都超过了 PaLM540B。LLaMA-13B 模型在大多数基准上也超过了 GPT-3，尽管其体积小了 10 倍。
闭卷答题
表 4 展示了 NaturalQuestions 的性能，表 5 展示了 TriviaQA 的性能。在这两项基准测试中，LLaMA-65B 在零样本和少样本设置中都达到了最先进的性能。更重要的是，尽管 LLaMA-13B 是 GPT-3 和 Chinchilla 的五分之一到十分之一，但在这些基准测试中也同样备竞争力。该模型的推理过程是在单个 V100 GPU 上运行的。
阅读理解
研究者还在 RACE 阅读理解基准 (Lai et al., 2017) 上评估了模型。此处遵循 Brown et al. (2020) 的评估设置，表 6 展示了评估结果。在这些基准上，LLaMA-65B 与 PaLM-540B 具有竞争力，而且，LLaMA-13B 比 GPT-3 还高出几个百分点。
数学推理
在表 7 中，研究者将其与 PaLM 和 Minerva (Lewkowycz et al., 2022) 进行了对比。在 GSM8k 上，他们观察到 LLaMA65B 优于 Minerva-62B，尽管它没有在数学数据上进行过微调。
代码生成
如表 8 所示，对于类似的参数数量，LLaMA 的表现是优于其他一般模型的，如 LaMDA 和 PaLM，这些模型没有经过专门的代码训练或微调。在 HumanEval 和 MBPP 上，13B 以上参数的 LLaMA 超过了 LaMDA 137B。LLaMA 65B 也优于 PaLM 62B，即使它的训练时间更长。
大规模多任务语言理解
研究者使用基准所提供的例子，在 5-shot 的情况下评估模型，并在表 9 中展示了结果。在这个基准上，他们观察到 LLaMA-65B 在大多数领域都落后于 Chinchilla70B 和 PaLM-540B 平均几个百分点。一个潜在的解释是，研究者在预训练数据中使用了数量有限的书籍和学术论文，即 ArXiv、Gutenberg 和 Books3，总和只有 177GB，而这些模型是在高达 2TB 的书籍上训练的。Gopher、Chinchilla 和 PaLM 所使用的大量书籍也可以解释为什么 Gopher 在这个基准上的表现优于 GPT-3，而在其他基准上却不相上下。
训练期间的性能变化
在训练期间，研究者跟踪了 LLaMA 模型在一些问题回答和常识性基准上的表现，结果如图 2 所示。在大多数基准上，性能稳步提高，并与模型的训练困惑度呈正相关（见图 1）。
