热门
modelscope中,建议用lora微调后再去量化还是直接用qlora去微调呢?
在ModelScope中,对于模型微调和量化的顺序,通常建议先进行微调以优化模型在特定任务上的性能,然后再进行量化以减少模型大小和提高推理效率。因此,针对Lora模型,您可以先使用原版Lora进行微调以适应您的数据集和任务需求,之后再采用量化技术(如QLora)来压缩模型,这样既能保证模型精度又能满足部署时对资源的需求。
lora。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352