基于PAI-EAS一键部署通义千问模型

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

1. 教程简述

本教程中,您将学习如何在阿里云模型在线服务(PAI-EAS)一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。

通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制开发了基于大语言模型的AI助手Qwen-7B-Chat。

本教程部署通义千问WebUI示例效果如下所示:

image.png

基于本教程可以体验:

新用户可免费领取价值万元的人工智能平台PAI 试用资源;

学会如何快速在阿里云上创建模型在线服务;

学会如何在ESA中部署WebUI。


2. 使用PAI-EAS一键部署通义千问WebUI

2.1 准备环境与资源

2.1.1 领取模型在线服务PAI-EAS免费试用权益

前往活动页面,领取模型在线服务PAI-EAS产品免费试用资源包

image.png

2.1.2 部署模型

  1. 前往人工智能平台PAI控制台
  2. 开通人工智能PAI并创建默认工作空间。请参见开通并创建默认工作空间
  3. 在人工智能平台PAI控制台内,选择模型在线服务PAI-EAS,点击部署服务

image.png

  1. 部署方式选择-镜像部署AI-Web应用,镜像选择-PAI平台镜像  modelscope-inference

环境变量:参数参考下图

参数

描述

服务名称

自定义服务名称。本案例使用的示例值为:qwen_demo

部署方式

选择镜像部署AI-Web应用

镜像选择

选择PAI平台镜像>modelscope-inference>1.8.1

环境变量

MODEL_ID输入:qwen/Qwen-7B-Chat

TASK输入:chat

REVISION输入:v1.0.5

运行命令

服务运行命令:python app.py

输入端口号:8000

image.png

  1. 选择实例机型 ecs.gn7i-c8g1.2xlarge.limit  ,若无此机型库存可更换地域尝试;

在领取免费试用权益后(参考步骤1.1),试用活动tab分类下的机型支持免费试用;若不符合领用条件或免费试用机型无库存,可选择GPU分类下的GU30机型(ml.gu7i.c8m30.1-gu30),需自费,约8元/小时。

image.png

  1. 单击部署,进入PAI-EAS 模型在线服务,等待服务状态变更为运行中,表示模型部署完成。

说明一般在5分钟能够完成部署,具体与资源紧缺程度、服务负载以及配置有关。

2.2 使用WebUI进行模型推理

2.2.1 单击目标服务的服务方式> 查看Web应用,打开WebUI页面。

image.png

image.png

2.2.2 在WebUI页面,进行模型推理验证。


3. 资源清理及后续

3.1 清理

  • 领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。请前往节省计划页面,查看抵扣包剩余金额和过期时间。
  • 如果无需继续使用EAS服务,您可以按照以下操作步骤停止/删除模型服务。

image.png


如需技术支持,请在钉钉搜索群号「 52485000325」,加入群聊

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
2天前
|
数据采集 编解码 缓存
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
|
1天前
|
人工智能 自然语言处理 搜索推荐
开发者专属福利!通义灵码接入满血版DeepSeek-R1模型!
开发者专属福利!通义灵码接入满血版DeepSeek-R1模型!
|
1天前
|
人工智能 JSON 文字识别
通义两大模型,正式开源!
通义两大模型,正式开源!
|
1天前
|
人工智能 编解码 API
刚刚,通义万相模型能力重磅升级!
刚刚,通义万相模型能力重磅升级!
|
1天前
|
人工智能 自然语言处理 算法
通义灵码全新上线模型选择功能,新增支持DeepSeek-V3和DeepSeek-R1模型
通义灵码全新上线模型选择功能,新增支持DeepSeek-V3和DeepSeek-R1模型
|
2天前
|
人工智能 自然语言处理 运维
又稳又快!阿里云飞天企业版支撑多家政企云上部署DeepSeek和通义千问
又稳又快!阿里云飞天企业版支撑多家政企云上部署DeepSeek和通义千问
|
3天前
|
人工智能 API
通义千问 Qwen 衍生模型包揽 HuggingFace 开源榜单全球前十!
通义千问 Qwen 衍生模型包揽 HuggingFace 开源榜单全球前十!
|
4月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
212 6
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。
|
3天前
|
人工智能 编解码 算法
使用 PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理
使用 PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理

相关产品

  • 人工智能平台 PAI