AI推理服务平台升级,阿里云机器学习PAI推出新规格

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 全新推理规格 GU30 问世,与传统规格相比价格平均优惠45%。

导语:

随着生成式AI模型不断拓宽AI应用的场景边界,模型在线服务的数量级快速增长,AI推理环节亟需精细化的资源管理。


近日,阿里云机器学习平台PAI宣布全面升级模型服务平台PAI-EAS,面向文图生成、大语言模型等各类模型提供弹性稳定的推理服务,并推出全新规格GU30,与传统规格相比价格平均优惠45%。


全新推理规格GU30问世,释放技术红利

AI工程化链路中,推理服务是打通“模型到应用最后一公里”的重要环节,并持续伴随业务成长。


PAI-EAS是PAI推出的弹性推理服务平台,提供异构硬件 (CPU/GPU) 模型加载和服务部署,支撑达摩院、淘宝、高德等业务大量级模型服务,并广泛服务阿里云上企业客户。结合推理优化技术和云原生生态,PAI-EAS进一步提升异构资源集群整体利用率,规模化地实现服务效率与性能提升,扩大让利空间。


新推出的PAI-EAS GU30系列规格,专用于深度学习异构推理场景,较PAI-EAS同等性能的传统规格价格下降45%。


GU30可适配不同复杂程度的模型,支撑文图生成、大语言模型、多模态模型、NLP、CV、ASR等的推理需求。付费模式上,EAS同时支持预付费和灵活的按量付费,用户可以通过弹性扩缩容、弹性资源池等能力精细化地按需管控推理资源。



image.png

Serverless化覆盖多样推理场景

作为云上AI推理服务平台,PAI-EAS在基础设施层、容器调度层、模型部署层都提供丰富的产品功能,贴合不同场景的个性化需求。


  • 实时同步推理场景,例如个性化推荐或类ChatGPT对话应用等,用户可通过一键压测得到服务的QPS和时延阈值,并结合灰度发布和蓝绿部署功能,在不影响线上业务的情况下进行性能验证并顺滑切换。
  • 近实时异步推理场景,例如文图生成或视频处理等,涉及较为复杂模型的推理,单次推理时间从十几秒到几十分钟不等,PAI-EAS在推理服务内部集成服务维度的消息队列,并支持面向队列长度实现推理的自动弹性扩缩容,满足资源利用率提升及免运维需求。
  • 离线批量推理场景,例如语音数据批量文本转换等时延不敏感的场景,PAI-EAS可通过抢占型资源实例的方式帮助用户控制批量推理成本。

image.png

PAI-EAS最新活动

从2023年4月中旬起,阿里云产品试用中心将正式开放PAI-EAS同等算力的试用规格,提供最长3个月的模型在线服务免费体验包。点击PAI-EAS产品页官网(链接:https://www.aliyun.com/activity/bigdata/pai/eas),可在PAI-EAS产品官网获得最新活动信息。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1天前
|
人工智能 搜索推荐 安全
正式上线!阿里云短信模板 AI 助手,10 秒生成/改写个性化、合规短信内容
阿里云短信服务 - 短信模板AI 助手已全面开放,欢迎体验!
|
26天前
|
人工智能 自然语言处理 测试技术
阿里云通义实验室自然语言处理方向负责人黄非:通义灵码2.0,迈入 Agentic AI
在通义灵码 2.0 发布会上,阿里云通义实验室自然语言处理方向负责人黄非分享了代码大模型的演进。过去一年来,随着大模型技术的发展,特别是智能体技术的深入应用,通义灵码也在智能体的基础上研发了针对于整个软件研发流程的不同任务的智能体,这里既包括单智能体,也包括多智能体合并框架,在这样的基础上我们研发了通义灵码2.0。
138 21
|
17天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多种配置,包括CPU+GPU、FPGA等,适用于人工智能、机器学习和深度学习等计算密集型任务。本文整理了阿里云GPU服务器的优惠价格,涵盖NVIDIA A10、V100、T4等型号,提供1个月、1年和1小时的收费明细。具体规格如A10卡GN7i、V100-16G卡GN6v等,适用于不同业务场景,详情见官方页面。
104 11
|
19天前
|
SQL 人工智能 关系型数据库
【PG锦囊】阿里云 RDS PostgreSQL 版插件—AI 插件(rds_ai)
本文介绍了AI 插件(rds_ai)的核心优势、适用场景等,帮助您更好地了解 rds_ai 插件。想了解更多 RDS 插件信息和讨论交流,欢迎加入 RDS PG 插件用户专项服务群(103525002795)
|
27天前
|
人工智能 Java API
阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手
本次分享的主题是阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手,由阿里云两位工程师分享。
阿里云工程师跟通义灵码结伴编程, 用Spring AI Alibaba来开发 AI 答疑助手
|
机器学习/深度学习 存储 人工智能
科大讯飞,是如何打造AI平台的?
科大讯飞的成功靠的是AI核心战略:平台+赛道。
1228 0
|
28天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
24天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
181 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
10天前
|
人工智能 自然语言处理 搜索推荐
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
77 23
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
|
4天前
|
机器学习/深度学习 存储 人工智能
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
462 13
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用

热门文章

最新文章

相关产品

  • 人工智能平台 PAI