阿里云机器学习 PAI-DSW 介绍|学习笔记

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 快速学习阿里云机器学习 PAI-DSW 介绍。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:阿里云机器学习 PAI-DSW 介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14229


阿里云机器学习 PAI-DSW 介绍

 

内容介绍:

一、PAI-DSW 产品简介

二、底层架构

三、版本区别

四、产品使用演示

 

PAI-DSW 是一个怎样的产品,以及它的底层架构,目前的版本区别,产品的演示。从创建实例,管理实例到保存进项到导出进项这个流程来进行产品的演示。

 

一、PAI-DSW 产品简介

 图片15.png

它作为一款简单、清亮,即开即用的在线交互式开发环境,为用户提供了在云端就可以简单,快速卡起能力。同时底层支持了绑定存储,使得文件可以做永久化的存储和分享。还可以通过 ESCMB 的方式讲 PAI-DSW 获得的训练模型部署为接口,对外提供模型服务,从而实现了一站式的学习。

 

二、底层架构

图片16.png

在产品的架构上我们从最底层的计算资源,网络,以及存储资源做容器做虚拟化技术的一个整合。在上层构建了PAI-DSW 来支持各种各样的开源算法框架。包括但不限制于 Sklearn/TensorFlow/PyTorch 等等。同时在这上层支持了各种场景的应用。包括数据科学、支持学习、以及深度学习等。在阿里巴巴集团内外等多个场景和行业都有非常深度的使用。

 

三、版本区别

针对于 DSW 的两个产品进行简要的介绍

图片17.png

1、首先是商用付费的个人版本

支持 GPU,同时在付费方式上支持按量付费及后付费的方式。

在内存以及 CPU 核数和实力存储空间的限制上是自行选择没有上限的。同时在网络访问上也没有限制。最后在ROOT权限以及运行环境 IMAGE 选择的功能上都是支持的。

2、免费的探索者版本

支持 GPU 同时在付费方式上支持限时免费的模式。

在内存和 CPU 核数上是2个 CPU 加4GB 的内存。对于实例存储空间的限制来说,是5GB 的空间限制。对于网络访问来说,CPU 型没有限制而 GPU 型不能访问公网。

目前探索者版本不支持 ROOT 权限和运行环境 IMAGE 选择。

 

四、产品使用演示

在登录阿里云官网之后可以点击产品下的人工智能一栏,入口在机器学习平台 PAI 下面。进入之后可以看到产品规格页面一栏下的 DSW 探索者版本,可以点击进去进行体验。

图片18.png

在点击进入之后只要登陆阿里云账号就可以快速拉起一个实例。

如果之前没有拉起过实例的话,需要等待10秒左右的时间。后续如果拉起的话就可以直接打开使用了。

进入这个页面之后可以看到 DSW 实际上是集成了 RELB 的同时内置了丰富的数据开发和机器学习的算法以及多种的计算资源。

可以使用 NOTEBOOK 来进行相关代码的编写以及命令行的输入。

看完了免费的探索者版本现在可以前往控制台查看个人版本的实例。

在模型开发和训练的交互式建模页面可以查询到个人版本的所有实例。

图片19.png

在 DSW 的页面下点击创建实例来创建一个新的 DSW 实例。

在机器学习的购买页面,可以对实例名称进行命名。其他的属性选择默认的选项。

图片20.png

而存储是实例自带存储盘为临时存储。在删除之后会清空。如果需要数据永久化的存储,可以配置一个文件系统。

点击前往控制台创建一个新的系统

图片21.png

这里可以选择通用型的 NAS 文件系统,由于之前已经购买过,选择之前使用过的文件存储方式。

在选择镜像的时候有两个选择方式,官方镜像和自定义的镜像。

可以输入官方可以公共访问的地址来进行镜像的配置,这里选择官方的镜像即可。点击确认订单进行购买。实例会等待一段时间进行创建。

在实例创建完成之后,可以在 DSW 的界面列表下看到实例名称为 DEMO 的实例,状态是正在运行中。打开这个DSW实例,进入到 DSW 页面之后可以在左侧看到两级功能导航栏,分别是文件的查看模块、天池模块、运行模块、commons 模块、教程模块、属性查看模块以及相关的功能子模块。

在右侧的 console 组界面下可以点击 notebook 下的 python3,来打开一个 python 文件。进入到交互式的python编程界面之后,点击右上角选择一个目前正在进行的 kernel。这一选择是 python3,同时可以在项目里面进行一个编程。在编程完成之后选择导出文件。

有两种到处方式:1、条件导航栏下选择该文件右键点击下载即可;2、点击 file 下的导出 notebook导出python格式的一个文件。

更多的说明可以点击左侧第四个文件查看,里面包括了任务配置

数据分析、机器学习、资源管理等说明。可以点击其中一个说明文档,这里是 PAIAUTOML 超参调优进阶,可以编制相关的代码进行跟步骤的操作。

更多的帮助文档可以点击右上方的帮助文档进行说明的查看。在使用说明下面列出了创建实例、管理实例以及MaxCompute 的读写操作。

更多的实践案例可以在页面中看到一些具体的开发者的最佳实践。

同时 DSW 也支持 API 来进行管理,大家可以使用 pythonSDK 来管理 DSW 实例的生命周期。

在 DSW 实例编写完代码之后,可以点击列表右侧的保存连接进行镜像的保存。在这里可以自定义镜像的名称。如果镜像命名空间和镜像仓库没有新建的话可以创建新的命名空间和新的镜像仓库,进行保存。

图片22.png

保存完成的镜像可以在镜像仓库内查看到具体的地址;同时在创建新的实例的时候也可以复制该地址到自定义镜像进行实例的创建。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
7月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之机器学习PAI的学习方法不知道如何解决
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 人工智能 并行计算
人工智能平台PAI产品使用合集之机器学习PAI中特征重要性的原理不知道如何解决
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
143 0
|
5月前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练?
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练?
137 1
|
5月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之如何实现嵌入式设备到物联网平台再到PAI DSW的云边结合
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能平台PAI产品使用合集之进入DSW后,如何把工作环境切换为GPU状态
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
机器学习/深度学习 人工智能 IDE
人工智能平台PAI操作报错合集之交互式建模(DSW)环境中,numpy模块如何正确安装
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
7月前
|
机器学习/深度学习 人工智能 NoSQL
人工智能平台PAI产品使用合集之机器学习PAI EasyRec训练时,怎么去除没有意义的辅助任务的模型,用于部署
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 人工智能 运维
人工智能平台PAI产品使用合集之机器学习PAI可以通过再建一个done分区或者使用instance.status来进行部署吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 人工智能 API
人工智能平台PAI产品使用合集之机器学习PAI中的sample_weight怎么加在样本中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。