魔搭中文开源模型社区:模型即服务-魔搭・平台工程框架介绍(中)

简介: 魔搭中文开源模型社区:模型即服务-

二、 用户体验

 

image.png 

 

如上图所示,推理在深度学习中,表示模型的预测过程。一般来说,推理会使用pipeline(串行管道过程)来执行所需要的操作。一个完整的pipeline一般包括了数据的前处理、模型的前向推理、数据的后处理三个过程。

 

pipeline()方法是ModelScope框架上最基础的用户方法之一,可对多种领域的多种模型进行快速推理。通过pipeline()方法,用户可以只需要一行代码即可完成对特定任务的模型推理。

 

image.png

 

如上图所示,所有模型都有一个快速开始页面,用户可以看到每个模型是如何调用实现的。

 

image.png 

 

如上图所示,用户只需要两行代码,就能在服务器后端拉起模型,把模型加载到本地并运行。不同模态的模型都可以通过修改两行参数,直接获取。

 

image.png

 

目前,平台的三百多个模型都可以通过两行代码中的两个参数实现拉取。如果用户需要把模型部署到自己的云端,让云端服务进行推理。用户可以通过SDK直接实现。

 

image.png

 

如上图所示,用户基于ModelScope中文gpt3底座二次开发得到诗词生成模型代码,通过使用原始基础模型进行推理。

 

image.png

 

对于模型来说,如果开发者有开发能力,ModelScope社区支持SDK进行微调。开发者可以根据自己的业务场景,目标数据集进行模型微调。

 

image.png

 

在网页端,每个模型都有Notebook链接,用户可以直接进入云端的Notebook平台。用户不需要任何安装或环境配置,可以直接复制模型页面的代码,点击运行即可。与此同时,ModelScope社区提供了免费CPU以及GPU算力供大家使用。

 

image.png

 

在本地部署方面,ModelScope的本地环境配置相对简单。用户只需通过ModelScope安装包,就可以运行模型。

 

image.png

 

为了方便开发者贡献自己的模型,贡献者只需要提供Configuratiorn、Model Flles/Checkpoints即可。

 

image.png

 

与此同时,ModelScope社区提供了分层API,开发者可以通过组件化的方式,将模型、预处理组件、后处理组件分开,方便用户组装。

 

image.png

 

在模型微调以及训练方面,ModelScope社区支持用户High-level API接入。接口为train()+evaluate()。High-level API的代码复用度较低,开发者负责实现绝大多数流程代码,且已有模型代码接入成本较低。

 

ModelScope社区为用户提供了实现training loop的模块抽象,支持串联data set模型forwardbackward梯度更新等流程。

 

开发者只需提供模型类,预处理,Metrics评估指标定制即可。ModelScope社区提供hook机制,保障training流程按需定制化,从而提高代码的复用度。

 

image.png

 

在数据集方面,支持开发者读取本地,云上OSSetc.以及web数据,开发者可以对接Model Scope Dataset-hub。

 

ModelScope社区保持对多种数据源(hub)开放,开发者可以直接获取tftorch等框架原生数据格式,对分布式训练/finetune有更完善的支持。

 


 

相关文章
|
自然语言处理 开发者 异构计算
社区供稿 | Llama3-8B中文版!OpenBuddy发布新一代开源中文跨语言模型
此次发布的是在3天时间内,我们对Llama3-8B模型进行首次中文跨语言训练尝试的结果:OpenBuddy-Llama3-8B-v21.1-8k。
|
人工智能 并行计算 开发者
【AI系统】从 CUDA 对 AI 芯片思考
本文从技术角度探讨英伟达生态,特别是CUDA与SIMT的关系及其对AI芯片DSA架构的影响。通过分析流水编排、SIMT前端、分支预测及交互方式,指出英伟达CUDA的成功在于其硬件设计与软件易用性的结合,为未来AI芯片的设计提供了宝贵的经验和启示。
325 5
|
Kubernetes Docker Python
如何在K8s中使用Python应用
一文带你了解如何在K8s中使用Python应用
506 4
|
自然语言处理 程序员 编译器
`pylatex`是一个Python库,用于生成LaTeX文档。LaTeX是一种用于高质量排版和打印的文档准备系统,特别适用于科学、技术和数学文档。
`pylatex`是一个Python库,用于生成LaTeX文档。LaTeX是一种用于高质量排版和打印的文档准备系统,特别适用于科学、技术和数学文档。
|
Dubbo 前端开发 Java
Failed to bind NettyServer on ×××,cause: io/netty/bootstrap/ServerBootstrap
Failed to bind NettyServer on ×××,cause: io/netty/bootstrap/ServerBootstrap
Failed to bind NettyServer on ×××,cause: io/netty/bootstrap/ServerBootstrap
|
人工智能 Cloud Native 架构师
|
存储 Kubernetes 网络协议
Cert Manager 申请 SSL 证书流程及相关概念 - 二
Cert Manager 申请 SSL 证书流程及相关概念 - 二
|
存储 弹性计算 Cloud Native
魔搭中文开源模型社区:模型即服务-魔搭・平台工程框架介绍(下)
魔搭中文开源模型社区:模型即服务-魔搭・平台工程框架介绍
1252 1
|
监控 Serverless API
ModelScope一键部署模型:新手村实操FAQ篇
魔搭社区支持开源模型一键部署至阿里云函数计算,本文以小白视角进行操作实操与FAQ讲解。
10394 2
|
监控 关系型数据库 调度
盘点5个.Net开发的服务器进程监控、性能监控、任务调度的开源项目
盘点5个.Net开发的服务器进程监控、性能监控、任务调度的开源项目
553 0