【玩转AIGC系列】AIGC文本生成3D模型

简介: 本文介绍如何使用GPU云服务器搭建Stable Diffusion模型,并基于ModelScope框架和HRN人脸重建模型,实现使用文本生成3D模型。

背景信息

自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。


本文将基于HRN人脸重建模型,以人脸头像作为输入,利用层次化表征实现快速人脸几何、纹理恢复,指导您如何实现使用文本生成高精度3D模型。关于模型的详细信息,请参见HRN人脸重建模型


重要

  • 阿里云不对第三方模型“HRN人脸重建模型”的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。
  • 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。

操作步骤

创建ECS实例

1.前往实例创建页

2.按照界面提示完成参数配置,创建一台ECS实例。需要注意的参数如下,其他参数的配置,请参见自定义购买实例

  • 实例:选择实例规格为ecs.gn7i-c16g1.4xlarge
  • 镜像:本文使用已部署好推理所需环境的云市场镜像,名称为ai-inference-solution
  • 公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps,以加快模型下载速度。


3.添加安全组规则。
 在ECS实例安全组的入方向添加安全组规则并放行50000端口。具体操作,请参见添加安全组规则

4.创建完成后,在ECS实例页面,获取公网IP地址。
  说明:公网IP地址用于生成图片测试时访问WebUI服务。


搭建Stable Diffusion环境

1.使用root用户远程连接ECS实例。
  该市场镜像中,运行环境及模型都安装在/root目录下,连接实例时需使用root用户。具体操作,请参见通过密码或密钥认证登录Linux实例


2.执行如下命令,下载v1-5-pruned-emaonly.safetensors模型。

cd ~/stable-diffusion-webui/models/Stable-diffusion
wget "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"


当显示如下图所示的回显信息时,说明已下载完成。


3.为Nginx添加用户登录验证。该镜像预装了Nginx软件,用于登录鉴权,以防止非授权用户登录。

  a.执行如下命令,创建登录用户和密码。

说明: ${UserName}请替换为您自定义的用户名,例如admin;'${Password}'请替换为您自定义的密码,例如ECS@test1234。

htpasswd -bc /etc/nginx/password ${UserName} '${Password}'

  b.执行如下命令,重启Ngnix。

systemctl restart nginx

  c.执行如下命令,查看Ngnix状态。

systemctl status nginx

当显示如下图所示的回显信息时,说明Ngnix处于运行中。

  d.执行如下命令,设置Ngnix开机自启动。

systemctl enable nginx


文本生成3D模型

步骤一:(可选)基于Stable Diffusion生成头像图片

通过文本生成人脸头像,作为人脸重建模型的图片输入。您也可以跳过该步骤,使用镜像中已有的头像生成3D模型。

1.在浏览器地址栏输入http://:50000,在弹出的登录对话框,输入步骤3中创建的用户和密码,单击登录


2.在对话框中输入简单的提示语,单击生成/Generate生成头像,然后单击保存/Save
  说明: 以下提示语仅为示例,您可以根据需要,自行输入提示语。

Elon Musk,mugshot,smiled
Mark Zuckerberg,mugshot,with a serious face


步骤二:使用头像图片生成3D模型

1.执行如下命令,切换conda环境到modelscope中。

conda activate modelscope

2.执行如下命令,切换到scripts目录。

cd /root/scripts

3.(条件必选)上传头像图片。
如果您是通过步骤一生成的图片或自定义图片,需将图片上传到root/scripts目录,并获取带格式的头像图片名称(例如image.png)用于生成3D模型。具体操作,请参见上传文件

说明 :ai-inference-solution镜像中自带了头像图片(存放于root/scripts中),您也可以跳过该步骤,直接使用该镜像中的图片,试玩头像图片生成3D模型。


4.执行如下命令,使用头像图片生成3D模型。

./faceTo3D.py 头像图片文件名

本文以头像图片文件名为image.png为例(请根据实际需求替换),则命令为:

./faceTo3D.py image.png


说明 :首次执行脚本时,会通过公网自动下载所需模型库,100 Mbps带宽下载时间大约为2分钟,请耐心等待。


生成的3D模型文件存放在/root/scripts/output目录中,其中.obj.mtl.jpg可导入Unity、UE等软件中使用;头像旋转视频(rotation video)、可视化图片(visual image)可用于快速浏览生成效果。

了解更多AIGC实践和GPU优惠


相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
22天前
|
人工智能 搜索推荐 数据库
实时云渲染技术赋能AIGC,开启3D内容生态黄金时代
在AIGC技术革命的推动下,3D内容生态将迎来巨大变革。实时云渲染与Cloud XR技术将在三维数字资产的上云、交互及传播中扮演关键角色,大幅提升生产效率并降低门槛。作为云基础设施厂商,抓住这一机遇将加速元宇宙的构建与繁荣。AIGC不仅改变3D内容的生成方式,从手工转向自动生成,还将催生更多3D创作工具和基础设施,进一步丰富虚拟世界的构建。未来,通过文本输入即可生成引人注目的3D环境,多模态模型的应用将极大拓展创作的可能性。
|
7月前
|
机器学习/深度学习 数据采集 自然语言处理
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC 3D即将爆发,混合显示成为产业数字化的生产力平台
AIGC 3D即将爆发,混合显示成为产业数字化的生产力平台
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC-Transformer 模型
8月更文挑战第6天
|
7月前
|
自然语言处理
AIGC使用问题之GPT-1如何优化目标函数,如何做模型微调
AIGC使用问题之GPT-1如何优化目标函数,如何做模型微调
|
6月前
|
vr&ar
AIGC 3D宇宙问题之混合显示的定义如何解决
AIGC 3D宇宙问题之混合显示的定义如何解决
30 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC 3D宇宙问题之AIGC 3D宇宙的定义如何解决
AIGC 3D宇宙问题之AIGC 3D宇宙的定义如何解决
23 0
|
7月前
|
机器学习/深度学习 运维 算法
「AIGC算法」K-means聚类模型
**K-means聚类模型概览:** - 是无监督学习算法,用于数据集自动分组。 - 算法步骤:初始化质心,分配数据点,更新质心,迭代直至收敛。 - 关键点包括K的选择、初始化方法、收敛性和性能度量。 - 优点是简单快速,适合大样本,但对初始点敏感,需预设K值,且仅适于球形簇。 - 应用场景包括图像分割、市场分析、异常检测等。 - 示例展示了使用scikit-learn对Iris数据集和自定义CSV数据进行聚类。
92 0
「AIGC算法」K-means聚类模型
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC领域中的模型
7月更文挑战第6天
|
7月前
|
机器学习/深度学习 人工智能 大数据
AIGC使用问题之多模态大模型如何升级AIGC的内容创作能力
AIGC使用问题之多模态大模型如何升级AIGC的内容创作能力