ModelScope通义千问用qlora微调后,没有效果,大家有没有遇到?
您好,Qlora 微调后效果变差,可能是以下原因造成的:
训练集、验证集不平衡。在微调模型时,如果训练集和验证集的不平衡程度不同,会导致模型在验证集上的表现下降。
超参数不当。在微调模型时,如果超参数选择不当,也会导致模型的性能下降。
数据处理不当。在微调模型时,如果数据处理方法不当,也会导致模型的性能下降。
您可以尝试以下方法来解决这些问题:
调整训练集和验证集的不平衡程度。在微调模型时,可以通过调整训练集和验证集的不平衡程度来提高模型在验证集上的表现。
调节超参数。在微调模型时,可以尝试调节不同的超参数,来找到最适合当前任务的超参数组合。
改进数据处理方法。在微调模型时,可以尝试使用不同的数据处理方法,来提高模型的性能。
如果您仍然无法解决问题,可以提交工单给 ModelScope 的技术支持,他们会帮助您排查问题。