modelscope本地部署72B的模型需要用到多少配置的阿里云服务器?
部署72B参数量规模的模型对服务器配置要求较高,通常需要考虑GPU内存大小、CPU核心数、硬盘读写速度以及网络带宽等因素。由于72B模型较大,推荐使用高性能GPU(如NVIDIA A100或V100系列),并且搭配充足的系统内存和高速存储设备。具体规格选择应以实际测试结果为准,建议咨询阿里云技术支持以获得更准确的配置方案。
您参考一下这个文档呢,有qwen-72b,https://github.com/modelscope/swift/blob/main/docs/source/LLM/Benchmark.md 模型卡片上也有,https://modelscope.cn/models/qwen/Qwen-72B-Chat/summary 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352