背景信息
自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。
本文将基于HRN人脸重建模型,以人脸头像作为输入,利用层次化表征实现快速人脸几何、纹理恢复,指导您如何实现使用文本生成高精度3D模型。关于模型的详细信息,请参见HRN人脸重建模型。
重要
- 阿里云不对第三方模型“HRN人脸重建模型”的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。
- 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。
操作步骤
创建ECS实例
1.前往实例创建页。
2.按照界面提示完成参数配置,创建一台ECS实例。需要注意的参数如下,其他参数的配置,请参见自定义购买实例。
- 实例:选择实例规格为ecs.gn7i-c16g1.4xlarge。
- 镜像:本文使用已部署好推理所需环境的云市场镜像,名称为ai-inference-solution。
- 公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps,以加快模型下载速度。
3.添加安全组规则。
在ECS实例安全组的入方向添加安全组规则并放行50000端口。具体操作,请参见添加安全组规则。
4.创建完成后,在ECS实例页面,获取公网IP地址。
说明:公网IP地址用于生成图片测试时访问WebUI服务。
搭建Stable Diffusion环境
1.使用root用户远程连接ECS实例。
该市场镜像中,运行环境及模型都安装在/root
目录下,连接实例时需使用root用户。具体操作,请参见通过密码或密钥认证登录Linux实例。
2.执行如下命令,下载v1-5-pruned-emaonly.safetensors模型。
cd ~/stable-diffusion-webui/models/Stable-diffusion wget "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"
当显示如下图所示的回显信息时,说明已下载完成。
3.为Nginx添加用户登录验证。该镜像预装了Nginx软件,用于登录鉴权,以防止非授权用户登录。
a.执行如下命令,创建登录用户和密码。
说明: ${UserName}
请替换为您自定义的用户名,例如admin;'${Password}'
请替换为您自定义的密码,例如ECS@test1234。
htpasswd -bc /etc/nginx/password ${UserName} '${Password}'
b.执行如下命令,重启Ngnix。
systemctl restart nginx
c.执行如下命令,查看Ngnix状态。
systemctl status nginx
当显示如下图所示的回显信息时,说明Ngnix处于运行中。
d.执行如下命令,设置Ngnix开机自启动。
systemctl enable nginx
文本生成3D模型
步骤一:(可选)基于Stable Diffusion生成头像图片
通过文本生成人脸头像,作为人脸重建模型的图片输入。您也可以跳过该步骤,使用镜像中已有的头像生成3D模型。
1.在浏览器地址栏输入http://:50000
,在弹出的登录对话框,输入步骤3中创建的用户和密码,单击登录。
2.在对话框中输入简单的提示语,单击生成/Generate生成头像,然后单击保存/Save。
说明: 以下提示语仅为示例,您可以根据需要,自行输入提示语。
Elon Musk,mugshot,smiled
Mark Zuckerberg,mugshot,with a serious face
步骤二:使用头像图片生成3D模型
1.执行如下命令,切换conda环境到modelscope中。
conda activate modelscope
2.执行如下命令,切换到scripts
目录。
cd /root/scripts
3.(条件必选)上传头像图片。
如果您是通过步骤一生成的图片或自定义图片,需将图片上传到root/scripts
目录,并获取带格式的头像图片名称(例如image.png
)用于生成3D模型。具体操作,请参见上传文件。
说明 :ai-inference-solution镜像中自带了头像图片(存放于
root/scripts
中),您也可以跳过该步骤,直接使用该镜像中的图片,试玩头像图片生成3D模型。
4.执行如下命令,使用头像图片生成3D模型。
./faceTo3D.py 头像图片文件名
本文以头像图片文件名为image.png
为例(请根据实际需求替换),则命令为:
./faceTo3D.py image.png
说明 :首次执行脚本时,会通过公网自动下载所需模型库,100 Mbps带宽下载时间大约为2分钟,请耐心等待。
生成的3D模型文件存放在/root/scripts/output目录中,其中.obj
、.mtl
、.jpg
可导入Unity、UE等软件中使用;头像旋转视频(rotation video)、可视化图片(visual image)可用于快速浏览生成效果。
了解更多AIGC实践和GPU优惠