开发者社区 > 云原生 > 正文

云原生 AI 套件使用arena 可以启动这些模型嘛?

云原生 AI 套件使用arena 可以启动这些模型嘛?lALPM5HioGrsZx_NAoDNBMw_1228_640.png

展开
收起
三分钟热度的鱼 2024-07-17 23:36:42 23 0
1 条回答
写回答
取消 提交回答
  • 应该是可以的,可以参考上面的文档改一下模型和启动配置,用vllm 0.5.1版本镜像就行。 此回答整理自钉群“云原生AI套件客户交流群”

    2024-07-18 08:53:32
    赞同 1 展开评论 打赏

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关电子书

更多
智算时代,基于 Kubernetes 落地云原生 AI 立即下载
从技术到架构,云原生全面加速应用现代化 立即下载
安永云原生创新驱动力实践探索 立即下载