ModelScope中咨询下LoRA增量权重与LoRA merged的权重有啥区别吗？

在ModelScope中，LoRA增量权重与LoRA merged权重是两种不同的微调策略。以下是具体分析：

• LoRA增量权重：通常指的是通过LoRA方法微调时所得到的更新矩阵的权重。这些权重是在原始预训练模型权重冻结不动的情况下，通过低秩分解的方式注入到每一层中，并参与下游任务的训练过程。这种方式可以大大减少训练参数的数量，节省内存，加速微调过程。
• LoRA merged权重：是将训练好的LoRA增量权重与原始模型权重进行合并的结果。这种策略在评估（evaluation）模式下，会将LoRA矩阵的值加到原始权重矩阵上，从而使得模型在推理时能够利用这些新学到的适应性信息。这样做的效果相当于对整个模型进行了完整的微调，但又不会增加模型推理时的计算成本。

总的来说，LoRA增量权重专注于通过低秩矩阵捕捉模型微调过程中的学习变化，而LoRA merged权重则是将这些学习成果整合回原始模型权重中，以便模型能够在实际应用中发挥出更好的性能。

merged是lora权重和原来模型的权重进行了合并。一般vllm推理时会要求合并权重。原来的模型权重也用。此回答来自钉群魔搭ModelScope开发者联盟群 ①。