开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope中,qwen-chat-7b-int4部署在pai-eas上机器选型是怎么样的?

ModelScope中,qwen-chat-7b-int4部署在pai-eas上,机器选型是怎么样的?

展开
收起
多麻辣哦 2023-11-08 20:10:21 90 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您的描述,在ModelScope中,您打算将Qwen Chat 7B模型部署在PAI-EAS上,并选择了INT4精度。
    对于PAI-EAS平台上的机器选型,需要考虑以下几个因素:

    1. 计算需求:Qwen Chat 7B模型是一个非常大的模型,需要较大的计算能力才能支持它的工作。建议选择性能较高的机器类型,以获得更好的计算效果。
    2. 内存需求:考虑到Qwen Chat 7B模型的规模较大,以及INT4精度的要求,需要有足够的内存空间来存储模型参数和中间结果。建议选择具有较高内存配置的机器类型。
    3. 存储需求:对于大型模型来说,需要足够的磁盘空间来存放模型文件和输出结果。建议选择具有较大硬盘容量的机器类型。
    2023-11-10 14:00:16
    赞同 展开评论 打赏
  • 在PAI-EAS上部署模型时,需要根据模型的大小、复杂度、计算需求等因素来选择合适的机器配置。对于qwen-chat-7b-int4模型,如果要在PAI-EAS上进行部署,可以选择以下机器配置:

    1. 机器类型:可以选择PAI-EAS提供的GPU服务器或CPU服务器,具体取决于模型的计算需求。如果模型需要进行大量的计算,建议选择GPU服务器,否则选择CPU服务器即可。
    2. 实例大小:根据模型的规模和计算需求,可以选择不同的实例大小。例如,如果模型较大且需要较高的计算能力,可以选择高内存、高CPU的实例;如果模型较小且计算需求较低,可以选择较小的实例以节省成本。
    3. 存储空间:根据模型的训练和测试数据集大小,选择足够的存储空间以容纳数据。如果数据集较大,可以选择具有大存储空间的实例。
    4. 网络带宽:如果模型的训练和测试过程中需要大量的数据传输,需要考虑网络带宽。可以选择具有较高网络带宽的实例,以确保数据传输速度足够快。
    2023-11-09 15:05:29
    赞同 展开评论 打赏
  • A10可以。——此回答整理自钉群:魔搭ModelScope开发者联盟群 ①

    2023-11-08 21:22:58
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

热门讨论

热门文章

相关电子书

更多
大规模机器学习在蚂蚁+阿里的应用 立即下载
阿里巴巴机器学习平台AI 立即下载
机器学习及人机交互实战 立即下载