开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI有在Yitian上推理LLM的方案吗?

机器学习PAI有在Yitian上推理LLM的方案吗?

展开
收起
真的很搞笑 2024-01-23 15:52:25 99 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    机器学习PAI有在Yitian上推理LLM的方案

    阿里云机器学习平台PAI提供了BladeLLM,这是一个大模型推理引擎,专门用于部署高性能、低成本的大语言模型服务。BladeLLM对LLM推理和服务的全链路进行了深度优化,以确保用户能够轻松地在Yitian等平台上运行大型语言模型。此外,阿里云还支持EAS(弹性计算服务),用户可以在EAS上快速拉起第三方的开源大模型文件,如Qwen、Llama2、ChatGLM等,并且可以在短短5分钟内一键部署这些模型。

    值得一提的是,阿里云机器学习平台PAI还针对Llama2系列模型进行了适配,推出了全量微调、Lora微调、推理服务等场景的最佳实践,帮助AI开发者快速开始使用这些模型。对于端侧部署,基于MNN实现的mnn-llm项目已经展现出业界领先的性能,特别是在ARM架构的CPU上,这意味着在移动设备或边缘计算设备上进行LLM推理也是可行的。

    综上所述,阿里云机器学习平台PAI为用户提供了一套完整的解决方案,以在Yitian上推理LLM,包括优化的推理引擎、快速部署工具和最佳实践指南,以满足不同场景下的需求。

    2024-01-23 22:36:06
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    微博机器学习平台架构和实践 立即下载
    机器学习及人机交互实战 立即下载
    大数据与机器学习支撑的个性化大屏 立即下载