阿里云机器学习 PAI-DSW 介绍|学习笔记

简介: 快速学习阿里云机器学习 PAI-DSW 介绍。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:阿里云机器学习 PAI-DSW 介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14229


阿里云机器学习 PAI-DSW 介绍

 

内容介绍:

一、PAI-DSW 产品简介

二、底层架构

三、版本区别

四、产品使用演示

 

PAI-DSW 是一个怎样的产品,以及它的底层架构,目前的版本区别,产品的演示。从创建实例,管理实例到保存进项到导出进项这个流程来进行产品的演示。

 

一、PAI-DSW 产品简介

 图片15.png

它作为一款简单、清亮,即开即用的在线交互式开发环境,为用户提供了在云端就可以简单,快速卡起能力。同时底层支持了绑定存储,使得文件可以做永久化的存储和分享。还可以通过 ESCMB 的方式讲 PAI-DSW 获得的训练模型部署为接口,对外提供模型服务,从而实现了一站式的学习。

 

二、底层架构

图片16.png

在产品的架构上我们从最底层的计算资源,网络,以及存储资源做容器做虚拟化技术的一个整合。在上层构建了PAI-DSW 来支持各种各样的开源算法框架。包括但不限制于 Sklearn/TensorFlow/PyTorch 等等。同时在这上层支持了各种场景的应用。包括数据科学、支持学习、以及深度学习等。在阿里巴巴集团内外等多个场景和行业都有非常深度的使用。

 

三、版本区别

针对于 DSW 的两个产品进行简要的介绍

图片17.png

1、首先是商用付费的个人版本

支持 GPU,同时在付费方式上支持按量付费及后付费的方式。

在内存以及 CPU 核数和实力存储空间的限制上是自行选择没有上限的。同时在网络访问上也没有限制。最后在ROOT权限以及运行环境 IMAGE 选择的功能上都是支持的。

2、免费的探索者版本

支持 GPU 同时在付费方式上支持限时免费的模式。

在内存和 CPU 核数上是2个 CPU 加4GB 的内存。对于实例存储空间的限制来说,是5GB 的空间限制。对于网络访问来说,CPU 型没有限制而 GPU 型不能访问公网。

目前探索者版本不支持 ROOT 权限和运行环境 IMAGE 选择。

 

四、产品使用演示

在登录阿里云官网之后可以点击产品下的人工智能一栏,入口在机器学习平台 PAI 下面。进入之后可以看到产品规格页面一栏下的 DSW 探索者版本,可以点击进去进行体验。

图片18.png

在点击进入之后只要登陆阿里云账号就可以快速拉起一个实例。

如果之前没有拉起过实例的话,需要等待10秒左右的时间。后续如果拉起的话就可以直接打开使用了。

进入这个页面之后可以看到 DSW 实际上是集成了 RELB 的同时内置了丰富的数据开发和机器学习的算法以及多种的计算资源。

可以使用 NOTEBOOK 来进行相关代码的编写以及命令行的输入。

看完了免费的探索者版本现在可以前往控制台查看个人版本的实例。

在模型开发和训练的交互式建模页面可以查询到个人版本的所有实例。

图片19.png

在 DSW 的页面下点击创建实例来创建一个新的 DSW 实例。

在机器学习的购买页面,可以对实例名称进行命名。其他的属性选择默认的选项。

图片20.png

而存储是实例自带存储盘为临时存储。在删除之后会清空。如果需要数据永久化的存储,可以配置一个文件系统。

点击前往控制台创建一个新的系统

图片21.png

这里可以选择通用型的 NAS 文件系统,由于之前已经购买过,选择之前使用过的文件存储方式。

在选择镜像的时候有两个选择方式,官方镜像和自定义的镜像。

可以输入官方可以公共访问的地址来进行镜像的配置,这里选择官方的镜像即可。点击确认订单进行购买。实例会等待一段时间进行创建。

在实例创建完成之后,可以在 DSW 的界面列表下看到实例名称为 DEMO 的实例,状态是正在运行中。打开这个DSW实例,进入到 DSW 页面之后可以在左侧看到两级功能导航栏,分别是文件的查看模块、天池模块、运行模块、commons 模块、教程模块、属性查看模块以及相关的功能子模块。

在右侧的 console 组界面下可以点击 notebook 下的 python3,来打开一个 python 文件。进入到交互式的python编程界面之后,点击右上角选择一个目前正在进行的 kernel。这一选择是 python3,同时可以在项目里面进行一个编程。在编程完成之后选择导出文件。

有两种到处方式:1、条件导航栏下选择该文件右键点击下载即可;2、点击 file 下的导出 notebook导出python格式的一个文件。

更多的说明可以点击左侧第四个文件查看,里面包括了任务配置

数据分析、机器学习、资源管理等说明。可以点击其中一个说明文档,这里是 PAIAUTOML 超参调优进阶,可以编制相关的代码进行跟步骤的操作。

更多的帮助文档可以点击右上方的帮助文档进行说明的查看。在使用说明下面列出了创建实例、管理实例以及MaxCompute 的读写操作。

更多的实践案例可以在页面中看到一些具体的开发者的最佳实践。

同时 DSW 也支持 API 来进行管理,大家可以使用 pythonSDK 来管理 DSW 实例的生命周期。

在 DSW 实例编写完代码之后,可以点击列表右侧的保存连接进行镜像的保存。在这里可以自定义镜像的名称。如果镜像命名空间和镜像仓库没有新建的话可以创建新的命名空间和新的镜像仓库,进行保存。

图片22.png

保存完成的镜像可以在镜像仓库内查看到具体的地址;同时在创建新的实例的时候也可以复制该地址到自定义镜像进行实例的创建。

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
11月前
|
人工智能 调度 芯片
PAI训练服务:云上大模型训练新篇章
本文介绍了通用AI时代下的新训练方法及PAI平台的优化。随着大模型时代的到来,算力需求激增,硬件和网络通信成为瓶颈。PAI平台通过自动容错、3D健康检测等技术确保训练稳定性;通过资源配额、智能调度等提高性价比;并推出PAI-TorchAcc和PAI-ChatLearn两大引擎,分别实现高效训练加速和灵活的对齐训练,显著提升训练性能与效果。这些改进解决了大规模AI训练中的关键问题,提升了效率和稳定性。
|
10月前
|
机器学习/深度学习 数据采集 人工智能
MATLAB在机器学习模型训练与性能优化中的应用探讨
本文介绍了如何使用MATLAB进行机器学习模型的训练与优化。MATLAB作为强大的科学计算工具,提供了丰富的函数库和工具箱,简化了数据预处理、模型选择、训练及评估的过程。文章详细讲解了从数据准备到模型优化的各个步骤,并通过代码实例展示了SVM等模型的应用。此外,还探讨了超参数调优、特征选择、模型集成等优化方法,以及深度学习与传统机器学习的结合。最后,介绍了模型部署和并行计算技巧,帮助用户高效构建和优化机器学习模型。
MATLAB在机器学习模型训练与性能优化中的应用探讨
|
12月前
|
人工智能 JSON 算法
魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!
现在,魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦!
796 22
|
开发者 Python
阿里云PAI DSW快速部署服务
在使用阿里云DSW实例进行开发的时候,可能需要快速部署服务测试应用效果。DSW实例目前已经支持通过自定义服务访问配置功能,对外提供服务访问能力,您在应用开发过程中无需分享整个DSW实例,即可将服务分享给协作开发者进行测试和验证。
464 23
|
11月前
|
人工智能 容灾 Serverless
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
在数据驱动时代,Python 以强大的生态系统成为数据科学的首选语言,而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库,然后利用内置数据集进行数据准备,选择合适的模型(如逻辑回归),并通过交叉验证评估其性能。最终,使用模型对新数据进行预测,简化整个流程。无论你是新手还是专家,Scikit-learn 都能助你一臂之力。
505 8
|
机器学习/深度学习 API 网络架构
"解锁机器学习超级能力!Databricks携手Mlflow,让模型训练与部署上演智能风暴,一触即发,点燃你的数据科学梦想!"
【8月更文挑战第9天】机器学习模型的训练与部署流程复杂,涵盖数据准备、模型训练、性能评估及部署等步骤。本文详述如何借助Databricks与Mlflow的强大组合来管理这一流程。首先需在Databricks环境内安装Mlflow库。接着,利用Mlflow跟踪功能记录训练过程中的参数与性能指标。最后,通过Mlflow提供的模型服务功能,采用REST API或Docker容器等方式部署模型。这一流程充分利用了Databricks的数据处理能力和Mlflow的生命周期管理优势。
587 7
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型,用于医学影像报告异常检测任务,并公开了达到0.83+准确率的基线代码。
271 9
|
机器学习/深度学习 人工智能 数据处理
人工智能平台PAI产品使用合集之PAI-DSW实例服务器ping不通google.com,该如何排查
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练?
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练?
409 1

热门文章

最新文章