3. 模型规模增长的性能变化
我们研究了模型的规模增大对于 Delta Tuning 性能的影响。最近，有研究发现 ，随着使用的 PLM 的模型规模增长，Prompt Tuning 的性能会越来越强，甚至可以达到和全参数 Fine-tuning 微调相匹敌的水平。在这一小节中，我们将探讨是否所有 Delta Tuning 方法均能够表现出这种模型规模带来的优势（Power of Scale）。具体来说，我们对 MNLI、QNLI 和 SST-2 三个典型的 NLP 任务进行了实验，并选择了三个规模不断增加的 PLM（T5-small、T5-base、T5-xxl），并评估了六种具有代表性的 Delta 调整方法的性能（Adapter、LoRA、Prefix-Tuning、Prompt Tuning、Last Layer Tuning 和 Selective Module Tuning），结果如下图所示。
从图 (a-i) 中，我们可以观察到，随着 PLM 网络规模的增长，所有 Delta Tuning 方法的性能和收敛性都得到了显着提高；(2) 此外，图 (j-l) 表明，与其他 Delta 调整方法相比，Prompt Tuning 往往对小规模 PLM（T5-small 和 T5-base）性能比较差。但是，其他 Delta Tuning 方法没有这个问题；(3) 基于现有结果，在图 11 (m-o) 和 (p-r) 中，我们进一步设计了两种 Delta Tuning 方法：Last Layer Tuning 和 Selective Module Tuning。对于 Last Layer Tuning ，我们只微调 T5 encoder 的最后一层；对于 Selective Module Tuning，我们随机选择 T5 模型中的部分模块进行微调。这两种方法都表现出优异的效果，尤其是当 PLM 的规模非常大时，Selective Module Tuning 略好于 Last Layer Tuning。这些结果表明，将可微调的参数限制在某个特定层内可能不是一个好的策略。另一方面，当 PLM 的规模变得非常大时，跨不同层随机选择模块来微调可以实现出色的性能。总的来说，上述结果表明，随着 PLM 模型规模的增长，各种微调方法的性能 / 收敛速度得到显著提升可能是 Delta Tuning 的常见现象。我们猜测这种现象的存在是因为，较大的 PLM 通常具有较小的本征维度（Intrinsic Dimension），因此，仅调整很少的参数即可获得足够强的表示能力，从而在下游任务中实现非平凡的性能；此外，过参数化的模型可能在下游优化过程中更不容易陷入局部最优，从而加速收敛。
4. 任务间迁移能力
我们研究了不同下游任务之间 Delta Tuning 方法的可迁移性，具体而言，我们采用了 4 种 Delta Tuning 方法（Prompt Tuning、Prefix-Tuning、Adapter 和 LoRA）和 5 种不同类型的 12 个 NLP 任务（包括情感分析、自然语言推理、转述识别、问答、总结），并将在源任务上训练好的 Delta 参数迁移到目标任务上，测试 zero-shot 迁移效果。结果如下图所示，从中我们可以观察到：（1）对于属于同一类别的任务，它们之间的迁移通常表现良好；（2）对于不同类型的任务，在它们之间迁移性能较差；(3) 另外，我们发现从文本生成任务（如问答和摘要）训练得到的 Delta 参数可以迁移到情感分析任务上并取得优异的表现，这表明文本生成任务可能是一项更复杂的任务，解决该任务所需要的语言能力可能包括了情感分析能力。
Delta Tuning 的应用
快速训练与存储空间节省。Transformer 模型虽然本质上是可并行化的，但由于其庞大的规模，训练起来非常缓慢。尽管 Delta Tuning 的收敛速度可能比传统的全参数微调慢，但随着反向传播期间可微调参数的计算量显著减少，Delta Tuning 的训练速度也得到了显著提升。以前的研究已经验证了，使用 Adapter 进行下游调优可以将训练时间减少到 40%，同时保持与全参数微调相当的性能。由于轻量的特性，训练得到的 Delta 参数还可以节省存储空间，从而方便在从业者之间共享，促进知识迁移。
多任务学习。构建通用的人工智能系统一直是研究人员的目标。最近，超大型 PLM （例如 GPT-3） 已经展示了同时拟合不同数据分布和促进各种任务的下游性能的惊人能力。因此，在大规模预训练时代，多任务学习受到越来越多的关注。作为全参数微调方法的有效替代，Delta Tuning 具有出色的多任务学习能力，同时保持相对较低的额外存储。成功的应用包括多语言学习、阅读理解等。此外，Delta Tuning 也有望作为持续学习中灾难性遗忘的潜在解决方案。在预训练期间获得的语言能力存储在模型的参数中。因此，当 PLM 在一系列任务中按顺序进行训练时，在没有正则化的情况下更新 PLM 中的所有参数可能会导致严重的灾难性的遗忘。由于 Delta Tuning 仅调整最小参数，因此它可能是减轻灾难性遗忘问题的潜在解决方案。
中心化模型服务和并行计算。超大型 PLM 通常作为服务发布，即用户通过与模型提供者公布的 API 交互来使用大模型，而不是本地存储大模型。考虑到用户和服务提供商之间难以承受的通信成本，由于其轻量级的特性，Delta Tuning 显然是比传统全参数微调更具竞争力的选择。一方面，服务提供商可以支持训练多个用户所需的下游任务，同时消耗更少的计算和存储空间。此外，考虑到一些 Delta Tuning 算法本质上是可并行的（例如 Prompt Tuning 和 Prefix-Tuning 等），因此 Delta Tuning 可以允许在同一个 batch 中并行训练 / 测试来自多个用户的样本（In-batch Parallel Computing）。最近的工作还表明，大多数 Delta Tuning 方法，如果本质上不能并行化，也可以通过一些方法修改以支持并行计算。另一方面，当中心的达模型的梯度对用户不可用时，Delta Tuning 仍然能够通过无梯度的黑盒算法，仅调用模型推理 API 来优化大型 PLM。
[1] Lester, Brian, Rami Al-Rfou, and Noah Constant. "The power of scale for parameter-efficient prompt tuning." arXiv preprint arXiv:2104.08691 (2021).
