AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

请问ModelScope Qwen的推理使用GPU如何制定device id ？

请问ModelScope Qwen的推理使用GPU如何制定device id ？ c90c3568c1a6713722307667f3980990.png
69fbefb0de7cf0c0d7abf2c8ceb71383.png

展开
收起
小小爱吃香菜 2024-02-13 21:14:38 195 分享 版权
1 条回答
写回答
取消 提交回答
  • 为了利利

    model.from_pretrained指定device="cuda:0"。可能不需要device_map。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-02-14 13:08:53
    赞同 展开评论
相关问答
千问Qwen3 32B大模型部署需要什么配置的GPU服务器？
1385
1
0
ModelScope接口访问qwen-coder，报错409
213
0
0
千问Qwen3 14B大模型部署最低配置GPU服务器要求？
1223
1
0
Qwen3 32B,14B,8B大模型部署分别需要多少显存，GPU服务器如何选？
3650
1
0
Funasr GPU2.0.0部署推理，RTF达不到0.0008，连0.0076都达不到。
226
0
0
Qwen2.5-14B-Instruct-GPTQ-Int4量化模型是只能在GPU上运行吗？
413
0
0
在4卡4090（24G）服务器上利用modelscope离线部署Qwen2vl-Flux时报错
299
1
0
想请问下ModelScope里Vllm部署了qwen1.5-32B之后，它无限输出日志 怎么解决？
458
0
0
在modelscope-funasr如果使用GPU的话这个编译需要改什么？
471
0
0
modelscope-funasr的GPU调用失败了，是什么原因？
159
0
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • Fortinet FortiGate Firmware (FortiOS 7.6.5) 全系列下载 - 下一代防火墙 (NGFW)
  • 阿里云服务器 ECS 规格族解析：CPU 型号差异与性能参数对比
  • 当算力变成“新石油”：AI 芯片的战争、底层逻辑与未来爆点
  • 阿里云服务器租用价格表 - 今年最新(附云服务器租用明细报价)
  • 没有 GPU 不用 LLM 能把 Text2SQL 做到什么程度？

    • 热门讨论

    热门文章

  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope中apikey在哪申请？
  • dataset的版本问题导致与modelscope不兼容
  • ModelScope下载速度慢怎么解决？
  • 如何下载modelscope模型？
  • 在modelscope-funasr想自己训练一种low resource 的方言，有训练的方案吗？
  • com/action/joingroup?code=v1是什么意思
  • modelscope这个下载有点慢呀，好几次都超时了，怎么解决？
  • 关于 Windows平台上 ttsfrd 库的问题。
    • 展开全部
  • Z-Image：冲击体验上限的下一代图像生成模型
  • Qwen3-VL新成员 2B、32B来啦！更适合开发者体质
  • Agent Skills技术协议与开源实现，让大模型拥有“即插即用”技能
  • 共学 | 2025年，更加有效地搭建Agent
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • 中文大模型体验
  • Z-Image Turbo LoRA训练魔法：如何保持加速生图能力
  • Meta SAM3开源：让图像分割，听懂你的话
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 通义百聆语音双子星，同步开源！
    • 展开全部
    还有其他疑问?
    咨询AI助理