开发者社区 > ModelScope模型即服务 > 正文

modelscope本地部署72B的模型需要用到多少配置的阿里云服务器?

modelscope本地部署72B的模型需要用到多少配置的阿里云服务器?

展开
收起
小小爱吃香菜 2024-03-18 19:47:14 916 0
2 条回答
写回答
取消 提交回答
  • 部署72B参数量规模的模型对服务器配置要求较高,通常需要考虑GPU内存大小、CPU核心数、硬盘读写速度以及网络带宽等因素。由于72B模型较大,推荐使用高性能GPU(如NVIDIA A100或V100系列),并且搭配充足的系统内存和高速存储设备。具体规格选择应以实际测试结果为准,建议咨询阿里云技术支持以获得更准确的配置方案。

    2024-03-19 14:54:31
    赞同 1 展开评论 打赏
  • 您参考一下这个文档呢,有qwen-72b,https://github.com/modelscope/swift/blob/main/docs/source/LLM/Benchmark.md 模型卡片上也有,https://modelscope.cn/models/qwen/Qwen-72B-Chat/summary 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-03-18 20:39:38
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
基于ECS倚天实例的应用构建最佳实践 立即下载
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载