AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

跑通义千问ModelScope-7B-Chat的例子，会出现图中问题，请问怎么处理？

"跑通义千问ModelScope-7B-Chat的例子，会出现图中问题，请问怎么处理？ d814aaa2208216fabaa98eb852f49b39.png 229fd06460d7fddb6b996be437036f27.png

You are trying to offload the whole model to the disk. Please use the disk_offload function instead"

展开
收起
小小爱吃香菜 2024-06-26 08:32:38 515 分享 版权
2 条回答
写回答
取消 提交回答
  • 为了利利

    显存不够了。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-06-28 19:55:13
    赞同 展开评论
  • 1941623231718325

    报错的意识是要你使用disk_offload函数来卸载模型
    image.png
    image.png
    具体可以参考一下这个github上的例子

    2024-06-26 11:10:35
    赞同 2 展开评论
相关问答
用Python加gradio参考示例代码制作了调用千问的应用在modelscope上应该怎样运行呢？
62
1
0
modelscope里用vllm调用千问1.5-7b流式输出，没输出完就结束了，有限制输出多少字吗?
112
1
0
ModelScope的dsw上部署通义千问-7B调用快速开始代码的时候发生了以下错误，请问怎么解决？
47
0
0
ModelScope中，本地部署的千问模型，如果显存不够的话会影响准确度吗？
48
1
0
ModelScope上通义千问-Audio在阿里云PAI EAS上部署完如何使用API调用呢？
49
1
0
ModelScope中使用开源的千问1_8预训练模型微调后测试模型的时候报错，怎么解决？
111
0
0
ModelScope中，千问2vllm推理报错是因为什么啊？
88
0
0
魔搭ModelScope官网中的千问demo和直接下载的可能有什么区别呢？
59
1
0
在昇腾910b用swift微调千问ModelScope模型，遇到梯度不收敛，微调后不起作用怎么解决？
192
1
0
有在ModelScope魔搭部署千问模型，并且以本地链接gui界面交互的最佳实践吗?
60
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope下载速度慢怎么解决？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • com/action/joingroup?code=v1是什么意思
  • ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • modelscope上跑报错，提示要pip install ttsfrd，搞不定
  • 无法导入 modelscope，已经pip install了
  • ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
    • 展开全部
  • 深度评测 | 仅用3分钟，百炼调用满血版 Deepseek-r1 API，百万Token免费用，简直不要太爽。
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • 通义万相Wan2.1视频模型开源！视频生成模型新标杆，支持中文字效+高质量视频生成
  • Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
  • 本地部署DeepSeek模型
  • 阿里云PAI部署DeepSeek及调用
  • KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • 手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
    • 展开全部
    还有其他疑问?
    咨询AI助理