modelscope中报显存OOM的错误，有没有参数可以调优一下？
请问Qwen2-7B-Instruct用A10 做推理， modelscope中报显存OOM的错误，有没有参数可以调优一下？ 用transformers 的 AutoModelForCausalLM, AutoTokenizer 加载的模型
展开
收起
1
条回答
写回答
写回答
-
infer backend选了vllm，试试torch_dtype=torch.bfloat16 参考以下链接 https://github.com/modelscope/swift/blob/main/docs/source/LLM/VLLM%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%E4%B8%8E%E9%83%A8%E7%BD%B2.md 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2024-06-19 08:34:38赞同 2 展开评论 打赏
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
ModelScope下载速度慢怎么解决？
2337
ModelScope服务器太差了，下个模型断断续续的，有解决办法吗？
667
关于模型的下载，huggingface下载速度太慢，如何在modelscope快速下载？
5988
ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
6737
modelscope这个下载有点慢呀，好几次都超时了，怎么解决？
1596
我希望通过damo-YOLO训练1500*1500的图片
9525
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
1656
ModelScope中，模型下载默认路径在哪个路径？
11054
ollama+open-webui的一个小问题
304
modelscope下载 的模型 如何转ollama
1017
展开全部
DeepSeek-V2.5-1210 在线开放使用！支持联网搜索，在各大领域的表现得到全面提升
8922
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
2102
UE-蓝图中的使用正则表达式
1728
VISION XL：支持四倍超分辨率的 AI 视频修复处理工具，提供去除模糊、修复缺失等功能
1353
阿里云PAI部署DeepSeek及调用
707
实战阿里qwen2.5-coder 32B，如何配置Cline的Ollama API接口。
2538
Deepseek开源R1系列模型，纯RL助力推理能力大跃升！
1698
Janus-Pro：DeepSeek 开源的多模态模型，支持图像理解和生成
702
Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
555
AnchorCrafter：中科院联合腾讯推出的AI虚拟主播带货视频制作技术
585
展开全部
