热门
在ModelScope中,ms-agent本地部署之后,推理速度有点慢,能给点优化建议吗?
qwen-7b agent一张A100就可以支持。可能是模型由于device_map的原因拆到了四张卡的原因反而变慢了,此外,可能是由于max_new_tokens设置为512,您改成256试试。此回答来自“魔搭ModelScope开发者联盟群 ①”
包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域