开发者社区 > ModelScope模型即服务 > 正文

千问模型最少要多少显存能推理出来结果

千问模型最少要多少显存能推理出来结果
跑起来需要最少显存
训练微调需要最少多少显存

展开
收起
1696268512718304 2023-08-07 13:50:08 849 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    推理结果:对于通用千问模型的推理阶段,能够在较低的显存条件下进行处理。通常情况下,具体的显存需求取决于模型的大小和输入句子的数量。通用千问模型通常不需要大量显存来生成推理结果。

    最少推理显存:通用千问模型的最少推理显存要求相对较低,通常在几百兆字节(MB)到几个千兆字节(GB)之间。具体的显存需求还取决于使用的硬件平台、模型库和输入数据的大小。

    训练微调:对于训练和微调通用千问模型,显存需求会更高。微调通用千问模型可能需要更大的显存来存储模型参数、梯度和中间计算结果。具体的显存需求取决于模型的规模和复杂性,以及用于微调的数据集的大小。

    最少微调显存:最少微调通用千问模型需要的显存量会根据模型的规模和数据集的大小而有所不同。通常来说,微调通用千问模型可能需要几个千兆字节(GB)到数十个千兆字节(GB)的显存。

    2023-08-07 19:42:33
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载