请问4块v100s微调qwen14b,建议用啥精度训练,ModelScope在搭建知识库方面有可推荐的工具和技术路径吗
https://developer.aliyun.com/article/1442291?spm=a2c6h.14164896.0.0.217447c5Sr5zch&scm=20140722.S_community@@%E6%96%87%E7%AB%A0@@1442291._.ID_1442291-RL_%E7%9F%A5%E8%AF%86%E5%BA%93-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_3
https://github.com/modelscope/modelscope/tree/master/examples/pytorch/application ,微调,https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/scripts/qwen_14b_chat/lora_ddp_ds/sft.sh 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352