Fluid Dataset CR

简介: Fluid Dataset CR资源和Runtime CR资源是华为云ModelArts中的概念,用于描述在模型训练过程中使用的两种不同的计算资源。

Fluid Dataset CR资源和Runtime CR资源是华为云ModelArts中的概念,用于描述在模型训练过程中使用的两种不同的计算资源。
Fluid Dataset CR资源指的是在训练过程中使用的数据集计算资源,也称为数据集计算资源。它主要用于处理训练数据,包括数据预处理、数据增强、数据切分等操作。Fluid Dataset CR资源通常是由数据处理任务或者数据处理服务来提供的,例如:数据清洗、数据转换、数据增强、数据切分等。
Runtime CR资源指的是在训练过程中使用的模型计算资源,也称为模型计算资源。它主要用于处理模型计算,包括模型编译、模型执行、梯度计算等操作。Runtime CR资源通常是由GPU、TPU等硬件加速设备来提供的,也可以是由CPU、FPGA等通用计算设备来提供的。
在模型训练过程中,Fluid Dataset CR资源和Runtime CR资源通常是配合使用的。在训练过程中,首先使用Fluid Dataset CR资源对数据进行处理,然后将处理后的数据送入Runtime CR资源进行模型计算。
以下是一个使用华为云ModelArts进行图像分类的示例,它使用了Fluid Dataset CR资源和Runtime CR资源:

  1. 数据处理:使用Fluid Dataset CR资源对训练数据进行数据增强、数据切分等操作。可以使用华为云ModelArts提供的数据处理服务,例如:图像分类数据增强、图像分类数据切分等。
  2. 模型训练:使用Runtime CR资源进行模型训练。可以在华为云ModelArts上选择一个预训练模型,例如:ResNet50,然后在模型上进行微调训练。在训练过程中,可以使用Fluid Dataset CR资源提供的数据处理结果,将处理后的数据送入模型进行计算。
  3. 模型部署:将训练好的模型部署到华为云ModelArts上,使用Runtime CR资源进行模型推理。可以使用华为云ModelArts提供的部署服务,例如:图像分类推理服务等。
  4. 模型管理:使用华为云ModelArts提供的模型管理服务,对训练好的模型进行版本管理、模型评估等操作。
目录
相关文章
|
9月前
|
机器学习/深度学习 数据采集 存储
Fluid
Fluid是一种用于构建和部署大规模机器学习模型的开源框架,由阿里巴巴集团开发。Fluid的目标是简化模型训练和部署的过程,以便更快地构建和部署高质量的机器学习模型。
208 1
|
存储 缓存 分布式计算
Fluid支持子数据集
当然随着Fluid使用的深入,也有不同的需求出现。其中社区一个比较共性的需求: 1. 可以跨namespace访问数据集缓存 2. 只允许用户访问数据集的某个子目录 特别是JuiceFS的用户,他们倾向于使用Dataset指向JuiceFS的根目录。然后对于不同数据科学家组分配不同的子目录作为不同的数据集,并且希望彼此间的数据集不可见;同时还支持子数据集的权限收紧,比如根数据集支持读写,子数据集可以收紧为只读。
579 2
Fluid支持子数据集
《Visualizing the Latent Space of Vector Drawings from the Google QuickDraw Dataset with SketchRNN,PCA and t-SNE》电子版地址
Visualizing the Latent Space of Vector Drawings from the Google QuickDraw Dataset with SketchRNN,PCA and t-SNE
84 0
《Visualizing the Latent Space of Vector Drawings from the Google QuickDraw Dataset with SketchRNN,PCA and t-SNE》电子版地址
|
存储 PyTorch 算法框架/工具
Pytorch教程[04]torch.nn---Containers
Pytorch教程[04]torch.nn---Containers
Pytorch教程[04]torch.nn---Containers
|
SQL 分布式计算 安全
Dataset 介绍_Dataset 是什么 | 学习笔记
快速学习 Dataset 介绍_Dataset 是什么
307 0
Dataset 介绍_Dataset 是什么 | 学习笔记
|
机器学习/深度学习 Kubernetes 监控
一个开源模型服务(model serving)指南
当我们完成模型训练之后,我们如何处理我们的模型呢? 模型本身没有多大价值 —— 关键在于你如何使用它们。无论是推动您的业务决策,还是为您的客户提供新功能,服务框架的作用都是让您的模型栩栩如生。
|
存储 算法 Python
【mflow系列6】mlflow model registry
【mflow系列6】mlflow model registry
345 0
【mflow系列6】mlflow model registry
sbs
Big Metadata: When Metadata is Big Data 论文翻译
[文件: Big Metadata 论文翻译.pdf] 请在PC端预览或下载原论文[文件: p3083-big meta data edara.pdf] 请在PC端预览或下载
sbs
173 0
|
JSON TensorFlow API
Deploy a trained model
本次教程的目的是带领大家学会用 Tensorflow serving 部署训练好的模型 这里我们用到的数据集是 Fashion MNIST,所以训练出来的模型可以实现以下几个类别的分类
174 0
|
jenkins 持续交付
成功解决c:\jenkins\workspace\mxnet-tag\mxnet\src\operator\tensor\./matrix_op-inl.h:189: Using target_sha
成功解决c:\jenkins\workspace\mxnet-tag\mxnet\src\operator\tensor\./matrix_op-inl.h:189: Using target_sha