FastDeploy完成实时扣图模型部署

简介: FastDeploy完成实时扣图模型部署

FastDeploy完成实时扣图模型部署


FastDeploy干啥的


  • 基于「AI模型和硬件」的低门槛部署工具箱。
  • 服务于开发者的最优部署实践。


能力


  • 模型:人脸检测、人脸识别、人像扣图、目标检测、目标分类、OCR等。
  • 硬件:支持x86 CPU、Nvida GPU、Jetson、ARM CPU、ARM NPU的部署。
  • 推理引擎:TensorRT、ONNXRuntime、Paddle Inference、Paddle Lite、RKNN

完整能力列表,见github:github.com/PaddlePaddl…

image.png

**### 待部署模型能力展示——实时扣图

image.png


1. Python + CPU部署流程


运行Demo,感受部署能力


1.安装FastDeploy的lib库 
2.准备实时扣图MODNet模型 和 推理示例代码
3.运行推理代码


API调用,集成到自己项目中


## 运行Demo,感受部署能力
# (1) 安装FastDeploy CPU库
!pip install fastdeploy-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy.html -q
# (2)准备MODNet模型和推理示例代码
# 推理示例代码;(如果是自己调用API完成,这部分代码都可以不用下载)
# !git clone https://gitee.com/PaddlePaddle/FastDeploy.git
%cd FastDeploy/examples/vision/matting/modnet/python/
/home/aistudio/FastDeploy/examples/vision/matting/modnet/python
!pip list|grep fastdeploy
fastdeploy-python      0.2.0
# 下载提前转换好的推理模型和图像
!wget https://bj.bcebos.com/paddlehub/fastdeploy/modnet_photographic_portrait_matting.onnx
# !wget https://raw.githubusercontent.com/DefTruth/lite.ai.toolkit/main/examples/lite/resources/test_lite_matting_input.jpg
--2022-08-26 16:39:02--  https://raw.githubusercontent.com/DefTruth/lite.ai.toolkit/main/examples/lite/resources/test_lite_matting_input.jpg
正在解析主机 raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.108.133, 185.199.109.133, 185.199.110.133, ...
正在连接 raw.githubusercontent.com (raw.githubusercontent.com)|185.199.108.133|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度: 278476 (272K) [image/jpeg]
正在保存至: “test_lite_matting_input.jpg”
         test_lite_   0%[                    ]   1.34K   327 B/s    eta 14m 7s ^C
# CPU 推理预测,输出结果保存在FastDeploy/examples/vision/matting/modnet/python/visualized_result.jpg图像中
!python infer.py --model modnet_photographic_portrait_matting.onnx --image 1.jpg --device cpu
Visualized result save in ./visualized_result.jpg

#API调用,集成到自己项目中(需按FastDeploy模型文档要求,准备好部署模型;或者直接下载FastDeploy中已经提供好的模型)


(此处打开infer.py直接讲解就行。)


image.pngimage.png


2. Python + GPU部署流程


特别说明:


  1. GPU部署与CPU部署流程区别:
  • GPU部署,需要提前准备好CUDA>=11.2环境要求,CUCA版本需要按照FastDeploy软硬件要求来
  • aistudio上的GPU环境,目前只有A100 40G满足CUDA>=11.2要求
#安装FastDeploy-GPU版本
!pip install fastdeploy-gpu-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy.html
# 准备MODNet模型和推理示例代码
# 推理示例代码
!git clone https://github.com/PaddlePaddle/FastDeploy.git
%cd FastDeploy/examples/vision/matting/modnet/python/
# 下载提前转换好的推理模型和图像
# 注意:测试图像目前放在github上,wget有一些慢,如果自己有测试图像,可以选择跳过。
!wget https://bj.bcebos.com/paddlehub/fastdeploy/modnet_photographic_portrait_matting.onnx
!wget https://raw.githubusercontent.com/DefTruth/lite.ai.toolkit/main/examples/lite/resources/test_lite_matting_input.jpg
# GPU 推理预测,输出结果保存在FastDeploy/examples/vision/matting/modnet/python/visualized_result.jpg图像中
!python infer.py --model modnet_photographic_portrait_matting.onnx --image test_lite_matting_input.jpg --device gpu


相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
机器学习/深度学习 数据采集 人工智能
【技术揭秘】高性能粤语语音识别模型构建方案
随着人工智能技术的飞速发展,语音识别(Automatic SpeechRecognition)的应用越来越广泛,对于多语种多口音语音识别的需求也在日渐增加。虽然语音识别系统的基本原理和框架是不受限于语种的,在建立一个新语种的ASR模型时,还是需要结合到语言本身的特点,才能得到较好的效果。
【技术揭秘】高性能粤语语音识别模型构建方案
|
26天前
|
人工智能 编解码 语音技术
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
SpeechGPT 2.0 是复旦大学 OpenMOSS 团队推出的端到端实时语音交互模型,具备拟人口语化表达、低延迟响应和多情感控制等功能。
272 21
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
|
2月前
|
存储 关系型数据库 数据库
极简开发,极速上线:构建端到端大模型应用
本文将以一个经典的 RAG(检索增强生成)知识问答系统为例,详细介绍从智能体设计到最终应用部署的全流程。
635 82
|
16天前
|
存储 人工智能 NoSQL
Airweave:快速集成应用数据打造AI知识库的开源平台,支持多源整合和自动同步数据
Airweave 是一个开源工具,能够将应用程序的数据同步到图数据库和向量数据库中,实现智能代理检索。它支持无代码集成、多租户支持和自动同步等功能。
87 14
|
2月前
|
机器学习/深度学习 存储 人工智能
【AI系统】离线图优化技术
本文回顾了计算图优化的各个方面,包括基础优化、扩展优化和布局与内存优化,旨在提高计算效率。基础优化涵盖常量折叠、冗余节点消除、算子融合、算子替换和算子前移等技术。这些技术通过减少不必要的计算和内存访问,提高模型的执行效率。文章还探讨了AI框架和推理引擎在图优化中的应用差异,为深度学习模型的优化提供了全面的指导。
72 5
【AI系统】离线图优化技术
|
2月前
|
存储 人工智能 算法
深度解读面向大模型开发和应用的数据处理套件
本文深入解读了大数据与AI联合场景下的技术,重点探讨了大语言模型、多模态模型训练及应用数据处理。文章首先分析了算法、算力和数据在大模型训练中的重要性,强调数据采集、标注和质量控制的关键作用。接着介绍了PAI平台上的端到端数据处理套件,涵盖预训练、有监督微调和偏好对齐的数据处理流程,以及数据合成和蒸馏技术的应用。最后展望了未来在多模态处理、性能优化和行业解决方案方面的扩展方向。
|
2月前
|
机器学习/深度学习 人工智能 算法
【AI系统】推理流程全景
本文概述了神经网络模型在云侧和边缘侧部署的特点与挑战。云侧部署凭借强大的计算能力和集中的数据管理,适合高吞吐量应用,但面临高成本、网络延迟等问题;边缘侧部署则通过模型优化和硬件加速降低延迟和能耗,适用于资源受限的环境,但存在算力限制、数据分散等挑战。两种方式各有优劣,需根据实际需求选择。
101 5
|
8月前
|
机器学习/深度学习 边缘计算 测试技术
MLOps模型部署的三种策略:批处理、实时、边缘计算
机器学习运维(MLOps)是一组用于自动化和简化机器学习(ML)工作流程和部署的实践。所选择的部署策略可以显著影响系统的性能和效用。所以需要根据用例和需求,采用不同的部署策略。在这篇文章中,我们将探讨三种常见的模型部署策略:批处理、实时和边缘计算。
144 4
|
6月前
|
存储 JavaScript 前端开发
ShareDB:构建实时应用从未如此简单
ShareDB:构建实时应用从未如此简单
182 0
|
9月前
|
SQL 存储 监控
构建端到端的开源现代数据平台
构建端到端的开源现代数据平台
468 4