AI 绘画Stable Diffusion 研究(十)sd图生图功能详解-精美二维码的制作

简介: AI 绘画Stable Diffusion 研究(十)sd图生图功能详解-精美二维码的制作

为了让大家更直观的了解图生图功能,明白图生图功能到底是干嘛的,能做什么事情?今天我们继续介绍图生图的实用案例-精美二维码的制作。


对于新朋友,想详细了解Stable Diffusion 的话,请查看往期文章:

AI 绘画Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装

AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解

AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上)

AI 绘画Stable Diffusion 研究(五)sd文生图功能详解(下)

AI 绘画Stable Diffusion 研究(六)sd提示词插件

AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理

AI 绘画Stable Diffusion 研究(八)sd采样方法详解

AI 绘画Stable Diffusion 研究(九)sd图生图功能详解-老照片高清修复放大


老规矩,这里还是以案例穿插知识点说明的方式进行讲解。


各位朋友,可以根据我的步骤一边进行实操,一边进行理论知识的学习,这样能提高学习效率。


精美二维码制作案例


最近发现有很多朋友把二维码艺术化变成一张非常好看的图片,看着效果不错,毕竟现在二维码的的应用太广了,而现在大多数二维码,都一堆的小黑点,毫无美感可言。



那么,这些二维码怎么制作呢?

那就是利用Stable Diffusion 图生图功能,配合ControlNet的Brightness模型,生成融合图片效果。

Brightness这个模型比较特殊,它不是官方的ControlNet的模型。


下面是详细的制作步骤。


如果你还没安装过ControlNet的Brightness模型,请前往下载安装,已安装过的朋友请忽略。


1、Brightness模型下载安装

(1)、Brightness模型下载

https://huggingface.co/ioclab/control_v1p_sd15_brightness/tree/main

如下图:

打开下载地址,点击下载 diffusion_pytorch_model.safetensors 文件即可。


如果上面的网站下载比较慢,也可以在这里免费下载control_v1p_sd15_brightness


(2)、将下载后的模型文件重新命名为:control_v1p_sd15_brightness.safetensors

放到models\ControlNet目录下

\sd-webui-aki-v4.2\models\ControlNet\control_v1p_sd15_brightness.safetensors


如图:


2、准备好你的二维码


二维码要求中间最好没有图标,需要是一张纯二维码,否则会影响后面生成图像的质量。

如果没法获得纯二维码,那可以用 联图网草料二维码或者其他二维码之类的工具,生成纯二维码。


3、设置支持最少2个以上contrlnet窗口


在设置 -> controlnet中,设置不少于2个的contrlnet模型数量。

比如4个, 设置完成后,需要点击顶部“保存设置”按钮,然后再点击“重载前端”按钮,重新加载界面。



4、图生图参数设置


(1)、导入图片



(2)、反推提示词


图生图反推提示词功能介绍:

反推提示词是Stable diffusion图生图中的功能,图生图的基础逻辑是通过上传的图片,可使用反推提示词或自主输入提示词,基于选择的Stable diffusion模型进行生成相似风格的图片。



  • CLIP 反推

CLIP反推提示词,是根据在图生图中上传的图片,使用自然语言描述展示。clip反推速度,相对较慢。

  • DeepBooru反推

DeepBooru反推提示词,是根据在图生图中上传的图片,使用关键词的形式展示。DeepBooru反推速度更快,更专业。


因此,这里我们选择使用DeepBooru反推提示词。



然后再填写上固定反向提示词:

NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality,(monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331),duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:l.331), mutated hands, (poorly drawnands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331),missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051),unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers.((extra arms and legs)))



(3)、设置参数

  • 设置缩放模式:仅调整大小
  • 设置迭代步数:28
  • 选择采样方法:dpm++ sde karras
  • 勾选面部修复
  • 设置重绘制尺寸:点击下三角,自动获取原图尺寸
  • 重回幅度、提示词默认

如图:


5、ControlNet 插件设置


(1)、将准备好的二维码,导入到 ControlNet 图片区域


(2)、勾选启用 ,控制类型选择默认



(3)、设置第一个 ControlNet


  • 预处理选择:inpaint_global_harmonious
  • 模型选择:control_v1p_sd15_brightness
  • 控制权重设置:0.3,其他保持默认



(4)、设置第二个controlnet


  • 预处理选择:inpaint_global_harmonious
  • 模型选择:control_v11file_sd15_title
  • 控制权重设置:0.5,开始step设置0.35,end step设置0.75



ControlNet设置好之后,会发现后面显示2unit,并且下面两个ControlNet窗口都变成绿色,说明这两个ControlNet都启用了。



6、生成并调试参数


点击生成按钮查看效果。


当发现二维码的痕迹比较深,而图像的痕迹比较浅,则适度调低第一个controlnet的权重weight

建议调试范围在0.2-0.4之间(调试间隔为0.05)


当发现二维码和图像融合较好,但是扫描不出来二维码的信息时,可以适度调高第二个contrlnet的参数

建议调试范围在0.5以上(调试间隔为0.05)


7、最后二维码和图像基本融为一体,变成了艺术化的二维码


如图:


这个精美的二维码图片效果,各位可还满意?

好了,我们的第二个图生图的功能案例就到此结束。


相关文章
|
2月前
|
机器学习/深度学习 人工智能
打开AI黑匣子,三段式AI用于化学研究,优化分子同时产生新化学知识,登Nature
【10月更文挑战第11天】《自然》杂志发表了一项突破性的化学研究,介绍了一种名为“Closed-loop transfer”的AI技术。该技术通过数据生成、模型训练和实验验证三个阶段,不仅优化了分子结构,提高了光稳定性等性质,还发现了新的化学现象,为化学研究提供了新思路。此技术的应用加速了新材料的开发,展示了AI在解决复杂科学问题上的巨大潜力。
36 1
|
15天前
|
人工智能 开发者
人类自身都对不齐,怎么对齐AI?新研究全面审视偏好在AI对齐中的作用
论文《AI对齐中的超越偏好》挑战了偏好主义AI对齐方法,指出偏好无法全面代表人类价值观,存在冲突和变化,并受社会影响。文章提出基于角色的对齐方案,强调AI应与其社会角色相关的规范标准一致,而非仅关注个人偏好,旨在实现更稳定、适用性更广且更符合社会利益的AI对齐。论文链接:https://arxiv.org/pdf/2408.16984
25 2
|
1月前
|
人工智能 知识图谱
成熟的AI要学会自己搞研究!MIT推出科研特工
MIT推出科研特工SciAgents,结合生成式AI、本体表示和多代理建模,实现科学发现的自动化。通过大规模知识图谱和多代理系统,SciAgents能探索新领域、识别复杂模式,加速新材料发现,展现跨学科创新潜力。
42 12
|
29天前
|
机器学习/深度学习 人工智能 算法
基于AI的性能优化技术研究
基于AI的性能优化技术研究
|
2月前
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
|
2月前
|
人工智能 自然语言处理
召唤100多位学者打分,斯坦福新研究:AI科学家创新确实强
【10月更文挑战第6天】斯坦福大学最新研究评估了大型语言模型(LLMs)在生成新颖研究想法方面的能力,通过100多位NLP专家盲评LLMs与人类研究人员提出的想法。结果显示,LLMs在新颖性方面超越人类(p < 0.05),但在可行性上略逊一筹。研究揭示了LLMs作为科研工具的潜力与挑战,并提出了进一步验证其实际效果的设计。论文详见:https://arxiv.org/abs/2409.04109。
45 6
|
2月前
|
人工智能 自然语言处理 机器人
MIT新研究揭秘AI洗脑术!AI聊天诱导人类编造记忆,真假难辨
麻省理工学院的一项新研究《基于大型语言模型的对话式AI在证人访谈中加剧虚假记忆》显示,使用生成式聊天机器人进行犯罪证人访谈会显著增加参与者的虚假记忆,且影响持久。研究设置了对照组、问卷访谈、预设脚本及生成式聊天机器人四种条件,结果显示生成式聊天机器人诱导的虚假记忆数量远超其他方法。尽管AI技术在效率和准确性方面潜力巨大,但在敏感领域需谨慎应用,并需进一步评估风险,制定伦理准则和监管措施。论文详细内容见[这里](https://arxiv.org/abs/2408.04681)。
52 2
|
3月前
|
存储 人工智能 JavaScript
根据Accenture的研究,CEO和CFO谈论AI和GenAI是有原因的
数字化转型与当前GenAI领导者之间的关键区别在于,CEO和CFO(而非CIO)似乎参与了指导AI投资的过程。例如,Accenture在2024年1月报告称,到2023年底,在财报电话会议中提到AI的次数几乎达到4万次,因为C级领导层正在为“重大技术变革”做好准备
44 1
|
3月前
|
人工智能 测试技术
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法,通过融合Transformer和Diffusion模型,实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力,能够在单一架构中处理混合模态数据,有效学习文本与图像间的复杂关系,提升跨模态理解和生成效果。经过大规模预训练,Transfusion模型在多种基准测试中表现出色,尤其在图像压缩和模态特定编码方面具有优势。然而,其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
74 7
|
3月前
|
人工智能 自然语言处理 计算机视觉
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
【9月更文挑战第6天】最近,一篇论文在AI领域引起广泛关注,展示了如何以极低成本训练高质量文本生成图像(T2I)模型。研究者通过随机遮蔽图像中75%的patch并采用延迟遮蔽策略,大幅降低计算成本,同时结合Mixture-of-Experts(MoE)层提升性能。最终,他们仅用1890美元就训练出了一个拥有11.6亿参数的模型,在COCO数据集上取得12.7的FID分数。这一成果比Stable Diffusion成本低118倍,为资源有限的研究人员提供了新途径。尽管如此,该方法在其他数据集上的表现及进一步降低成本的可行性仍需验证。
58 1