知识蒸馏/模型蒸馏（Knowledge Distillation/Model Distillation）
知识蒸馏是一种技术，通过训练一个小模型（学生模型）来模仿大模型（教师模型）的行为， 以达到减少计算复杂度和资源消耗的目的。这种方法的核心思想是，大模型在训练过程中学到的知识不仅体现在其最终输出上，还包含在其概率分布和中间表示中。在蒸馏过程中，学生模型不仅学习硬标签（最终预测），还学习教师模型输出的软概率分布，这些分布包含了教师模型对各种可能性的评估信息。知识蒸馏不仅限于大小模型之间的转换，也可以用于模型间的知识迁移，如将大模型的知识迁移到结构不同的小模型中。这一技术在实际应用中非常重要，因为它使得在资源受限的环境（如移动设备）中部署高性能模型成为可能，同时保持较好的性能表现。
量化（Quantization）
量化是一种将模型的参数和激活值映射到较低位数的技术，如从32位浮点数降至8位整数甚至更低位数。这一过程通过减少表示每个值所需的位数，显著降低了模型的存储需求和计算复杂度。量化可以分为训练后量化（对已训练好的模型进行量化）和量化感知训练（在训练过程中考虑量化效应）两种主要方法。虽然量化会导致一定程度的精度损失，但通过精心设计的量化策略，这种损失通常可以控制在可接受范围内。在大语言模型领域，量化是部署高效模型的关键技术，能够显著减少内存占用并加速推理过程。例如，将32位浮点模型量化为8位整数模型可以将内存需求减少75%，同时在许多硬件平台上获得更快的推理速度。
剪枝（Pruning）
剪枝是一种通过移除神经网络中不重要的连接或神经元来减小模型规模的技术。这一方法基于观察到的现象：神经网络中的许多参数对最终输出的贡献很小，可以被移除而不显著影响性能。剪枝可以在不同粒度上进行，包括结构化剪枝（移除整个神经元或卷积核）和非结构化剪枝（移除单个权重）。在大语言模型中，剪枝通常与重训练结合使用，先识别并移除低重要性参数，然后对剩余网络进行微调以恢复性能。这种方法能够显著减少模型大小和计算需求，同时保持较高的准确性。剪枝还可以与其他压缩技术如量化和知识蒸馏结合使用，进一步提高模型效率。在资源受限环境中部署大语言模型时，剪枝是一种重要的优化手段。
稀疏化（Sparsification）
稀疏化是指通过引入零值参数或激活值，使神经网络中的连接变得稀疏的过程。这一技术与剪枝密切相关，但更强调在训练过程中就引入稀疏性，而不是在训练后移除参数。稀疏化可以通过多种方式实现，如L1正则化（鼓励权重趋向于零）、结构化稀疏正则化（如组稀疏）或直接在训练中应用掩码。在大语言模型中，稀疏化特别有价值，因为它可以减少计算复杂度和内存需求，同时保持模型的表达能力。例如，稀疏注意力机制通过限制每个token只关注部分相关token，大大降低了自注意力计算的复杂度，使模型能够处理更长的序列。稀疏化还可以与混合专家模型（MoE）结合，通过动态激活部分专家网络，实现参数高效的大规模模型。
低秩分解（Low-Rank Factorization）
低秩分解是一种通过将大型权重矩阵分解为多个较小矩阵的乘积来减少参数数量的技术。这一方法基于这样的观察：神经网络中的权重矩阵通常具有低秩特性，即可以用比原始维度小得多的矩阵来近似表示。在大语言模型中，低秩分解常用于压缩全连接层和注意力机制中的大型矩阵，显著减少参数量和计算需求。例如，一个原始维度为n×m的权重矩阵可以分解为一个 n×r和一个r×m的矩阵乘积，其中r远小于n和m，从而将参数数量从n×m减少到r×(n+m)。低秩分解不仅减少了模型大小，还可能提高泛化能力，因为它引入了一种正则化效果。在参数高效微调（PEFT）方法中，如LoRA（Low-Rank Adaptation），低秩分解被广泛应用于高效适应预训练模型到特定任务。
模型压缩（Model Compression）
模型压缩是一系列旨在减小模型大小、降低计算复杂度和内存需求的技术总称。在大语言模型领域，模型压缩变得尤为重要，因为原始模型通常具有数十亿甚至数万亿参数，难以在普通硬件上部署。常用的模型压缩技术包括前面提到的知识蒸馏、量化、剪枝、稀疏化和低秩分解， 以及权重共享、哈夫曼编码等方法。这些技术可以单独使用，也可以组合应用以获得更好的压缩效果。模型压缩的目标是在尽可能保持原始模型性能的前提下，最大限度地减少资源需求。成功的模型压缩可以使大语言模型在边缘设备上运行，扩大应用范围，降低部署成本，并减少能源消耗。随着大模型规模不断增长，高效的压缩技术变得越来越重要，是实现大模型普及应用的关键环节。
权重共享（Weight Sharing）
权重共享是一种通过在神经网络的不同部分使用相同参数来减少总参数量的技术。这一方法基于这样的假设：网络中的某些组件可以执行相似的功能，因此可以共用相同的参数集。在大语言模型中，权重共享的典型应用包括在Transformer架构的不同层之间共享参数，或在词嵌入层和输出层之间共享权重。例如，ALBERT模型通过跨层参数共享，显著减少了参数量，同时保持了性能。权重共享不仅减少了模型大小，还可能提高泛化能力，因为它强制模型学习更通用的表示。此外，权重共享还可以与其他压缩技术结合使用，如量化和剪枝，进一步提高模型效率。在资源受限环境中部署大语言模型时，权重共享是一种重要的优化策略，能够在不显著牺牲性能的情况下大幅减少模型规模。
