Stable Diffusion——外挂VAE模型

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Stable Diffusion——外挂VAE模型

stablediffusion种的vae作用是什么?

Stable Diffusion 是一种基于变分自编码器(VAE)的深度学习模型,其作用主要是用于文本生成图像。

具体来说,VAE是一种生成模型,可以学习到数据的潜在表示空间,并将其用于生成新的数据样本。Stable Diffusion 的 VAE 模型在训练过程中会学习到一组潜在变量,这些潜在变量可以捕捉到图像中丰富的语义和结构信息。在生成新的图像时,VAE 可以将输入的文本表示转化为潜在变量,然后再从潜在表示空间中生成新的图像。这种基于文本生成的图像具有很高的稳定性和可复现性,因此得名“Stable Diffusion”。

总的来说,Stable Diffusion VAE 模型的作用是通过学习潜在表示空间,将文本表示转化为图像,从而实现高质量、稳定且可复现的文本生成图像任务。

我们平时主要应用的是:Vae-ft-mse-840000-ema-pruned. Safetensors 因为它是最能接近实际拍摄的效果的。

测试模型:

chilloutmix_NiPrunedFp32Fix.safetensors [fc2511737a]

测试AVE模型:

vae-ft-mse-560000-ema-pruned.safetensors

vae-ft-mse-840000-ema-pruned.safetensors

正向提示词:

1 girl,minneapolis \(wild huntress schoolgirl\) \(azur lane\),

反向提示词:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4),text,close up,cropped,out of frame,worst quality,low quality,jpeg artifacts,pgly,duplicate,morbid,mutilated,extra fingers,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,dehydrated,bad anatomy,bad proportions,extra limbs,cloned face,disfigured,gross proportions,malformed limbs,missing arms,missing legs,extra arms,extra legs,fused fingers,too many fingers,long neck,

迭代步数:

20Steps

采样方法:

DPM++ 2M Karras

高度*宽度

512x512

随机种子

1993120101

vae-ft-mse-560000-ema-pruned.safetensors效果

vae-ft-mse-840000-ema-pruned.safetensors效果

560000与840000对比效果

两者的训练基数不同,更大的训练资源反馈的结果当然更好一些,所以我们可以默认选择使用比较高的版本,因为最接近实际的拍摄。

其它的vae

ClearVAE-NansLessTest.safetensors

madebyollin-sdxl-vae-fp16-fix.safetensors

对应的还有vae-ft-mse-840000-ema-pruned.ckpt版本。

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
7月前
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
860 0
|
人工智能 编解码
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(2)
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装
328 0
|
人工智能 编解码 C++
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(1)
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装
231 0
|
Serverless
使用ControlNet控制Stable Diffusion时
使用ControlNet控制Stable Diffusion时
144 3
|
5月前
|
Python
Diffusion模型
Diffusion模型
|
7月前
|
机器人 Linux Docker
【LLM】基于Stable-Diffusion模型构建可以生成图像的聊天机器人
【4月更文挑战第13天】基于Stable-Diffusion模型构建可以生成图像的聊天机器人
96 0
|
7月前
|
传感器 自动驾驶 机器人
【Stable Diffusion】通过ControlNet修复手臂
【Stable Diffusion】通过ControlNet修复手臂
101 0
|
7月前
Stable Diffusion——Adetailer面部处理
Stable Diffusion——Adetailer面部处理
187 0
|
7月前
|
数据可视化 图形学 C++
【Stable Diffusion】——ipDESIGN3D_v20模型使用
【Stable Diffusion】——ipDESIGN3D_v20模型使用
57 0
|
Serverless
ControlNet控制Stable Diffusion
ControlNet控制Stable Diffusion
82 3