单个GPU显存较小，无法推理，如何设置多卡推理？
我们单个GPU显存较小，无法推理，ms有办法指定多卡推理吗？是device参数吗？
展开
收起
1
条回答
写回答
写回答
-
如果GPU显存较小或推理速度较慢，可开启半精度推理。临时的解决方法是使用源代码安装modelscope，然后将 modelscope/models/nlp/fid_T5/text_generation.py 文件76行# self.backbone.half()解除注释，mass后续sdk版本会支持可配置开启/关闭 半精度推理。
2023-05-19 08:31:12赞同 展开评论 打赏
相关问答
热门讨论
热门文章
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
1501
如何下载llama模型到本地？
3099
modelscope-funasr的FunClip怎么安装的？
2868
ollama+open-webui的一个小问题
164
llamaindex整合modelscope本地模型，启动报错
103
关于通义千问Qwen-7B-Chat模型下载问题
1792
Unichat - qwen2.5 - 32B - c1 模型已经下载下来 在运行python报错
32
gpt3,加载数据时，MsDataset.load报错
1363
modelscope-funasr的 sense voice和funasr的底层asr能力是一样吗？
406
报错AssertionError: choose a window size 400 that is
361
展开全部
DeepSeek-V2.5-1210 在线开放使用！支持联网搜索，在各大领域的表现得到全面提升
2464
PsycoLLM：开源的中文心理大模型，免费 AI 心理医生，支持心理健康评估与多轮对话
410
DeepSeek V3：DeepSeek 开源的最新多模态 AI 模型，编程能力超越Claude，生成速度提升至 60 TPS
488
SoulChat2.0：低成本构建 AI 心理咨询师，华南理工开源心理咨询师数字孪生大语言模型
239
DeepSeek Artifacts：在线实时预览的前端 AI 编程工具，基于DeepSeek V3快速生成React App
375
DeepSeek 开源 R1 系列推理模型，性能对标 OpenAI o1，基于纯强化学习完成自我进化，无需监督微调
256
微软开源课程！21节课程教你开发生成式 AI 应用所需了解的一切
133
DeepSeek Engineer：集成 DeepSeek API 的开源 AI 编程助手，支持文件读取、编辑并生成结构化响应
344
Baichuan-M1-14B：AI 助力医疗推理，为患者提供专业的建议！百川智能开源业内首个医疗增强大模型，普及医学的新渠道！
83
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
3460
展开全部
