little1d_个人页

2024年11月

• 11.25 16:58:59
  发表了文章 2024-11-25 16:58:59

  Qwen2.5-Coder-7B-Instruct Lora 微调 SwanLab 可视化记录版

  本节我们简要介绍如何基于 transformers、peft 等框架，对Qwen2.5-Coder-7B-Instruct 模型进行Lora微调。使用的数据集是中文法律问答数据集 DISC-Law-SFT，同时使用 SwanLab 监控训练过程与评估模型效果。