AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解

简介: AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解

在上一篇文章中,我们详细介绍了 embedding 的定义、作用以及如何安装使用 ,相信看过的朋友都知道,embedding 是属于一种将提示词打包的模型微调技术。感兴趣的朋友,可以前往查看:AI 绘画Stable Diffusion 研究(十五)SD Embedding详解


其实今天要讲到的 Hypernetwork 和 embedding 甚至和后面我们即将介绍的 Lora 模型一样,也属于一种模型微调技术。


Hypernetwork 其实并不是我们介绍的一个重点知识,我们只需要了解这个微调技术的原理和使用方法即可!


主要有以下原因:

  • Hypernetwork是一个比Lora更早的模型微调技术,现在使用的人数越来越少。
    我们在c站筛选Hypernetwork,只有33个Hypernetwork文件。


  • Hypernetwork使用效果并不理想,甚至还不如体积只有几k的embeddings文件,但是Hypernetwork的文件体积却可以与lora相提并论,在几十M甚至上百M。


  • Hypernetwork可以实现的效果,用其他的替代方式几乎都可以实现,比如用embeddings或者用lora。


1、什么是 Hypernetwork?

Hypernetwork 中文名(超网络),最初由stable diffusion 早期使用者 NovelAI开发,它是一个附加到stable diffusion模型的小型神经网络,用于修改其风格。


2、Hypernetwork 与其他模型的区别

  • Hypernetwork VS Checkpoint(大模型)

Checkpoint模型包含生成图像的所有必要信息,我们可以通过其文件大小来识别,Checkpoint 它们的体积范围从 2 GB 到 7 GB不等,Hypernetwork通常低于 200 MB。

Hypernetwork无法单独使用,它需要与checkpoint模型配合来生成图像。


  • Hypernetwork VS LoRA模型
    Hypernetwork与LoRA 模型很相似,它们的文件大小相似,通常低于 200MB,都比checkpoint模型小。
    有一个事实是:LoRA 模型比Hypernetwork模型效果更好。

  • Hypernetwork VS Embeddings
    Embeddings是一种称为Textual Inversion”文本反转”的微调方法,它只是定义新的关键字来实现某些样式。与 HypernetworkEmbeddings一样, 不会改变模型Embeddings和Hypernetwork适用于stable diffusion模型的不同部分。
    Embeddings在文本编码器中创建新的嵌入。
    Hypernetwork将一个小型网络插入噪声预测器的cross-attention模块中。


3、Hypernetwork 的下载安装

这里我们以c站下载Hypernetwork 模型为例进行说明。


第一步,浏览器中打开c站,搜索 Hypernetwork


第二步,选择喜欢的 Hypernetwork模型,下载即可

我们这里以下载这个 Hypernetwork模型演示,如下:


下载完成,得到waterElemental_10.pt 文件


第三步,将这个模型文件拷贝到 \sd-webui-aki-v4.2\models\hypernetworks 目录

\sd-webui-aki-v4.2\models\hypernetworks


重新启动 stable diffusion 使其生效。


4、Hypernetwork 的使用

Hypernetwork的使用方式与Embeddings 类似,区别是 Hypernetwork 用在正向提示词中,而Embeddings 是用在反向提示词中。


我们的按钮使用的 Hypernetwork 模型是:

Water Elemental(水元素)

Water Elemental(水元素)是一个独特的超网络,可以将任何东西变成水!

在主题之前使用短语water elementa"可以将此超网络与Stable Diffusion v1.5结合使用,更改超网络权重以调整水效果。


(1)、设置正向提示词

water elemental woman walking across a busy street 


(2)、选择 Water Elemental Hypernetwork 模型


选择 Water Elemental Hypernetwork 模型后,在正向提示词里面会自动添加:


(3)、设置参数

  • 采样算法:DPM++2M Karras
  • 迭代步数:15
  • CFG Scale: 7


(4)、点击按钮, 效果如下:


好了,今天的内容就分享到这里,后面我们将持续分享有关 Stable Diffusion 的干货,喜欢的朋友请关注我,我们下次再见。



相关文章
|
2月前
|
人工智能 Serverless
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
|
2月前
|
机器学习/深度学习 人工智能
打开AI黑匣子,三段式AI用于化学研究,优化分子同时产生新化学知识,登Nature
【10月更文挑战第11天】《自然》杂志发表了一项突破性的化学研究,介绍了一种名为“Closed-loop transfer”的AI技术。该技术通过数据生成、模型训练和实验验证三个阶段,不仅优化了分子结构,提高了光稳定性等性质,还发现了新的化学现象,为化学研究提供了新思路。此技术的应用加速了新材料的开发,展示了AI在解决复杂科学问题上的巨大潜力。
36 1
|
15天前
|
人工智能 开发者
人类自身都对不齐,怎么对齐AI?新研究全面审视偏好在AI对齐中的作用
论文《AI对齐中的超越偏好》挑战了偏好主义AI对齐方法,指出偏好无法全面代表人类价值观,存在冲突和变化,并受社会影响。文章提出基于角色的对齐方案,强调AI应与其社会角色相关的规范标准一致,而非仅关注个人偏好,旨在实现更稳定、适用性更广且更符合社会利益的AI对齐。论文链接:https://arxiv.org/pdf/2408.16984
25 2
|
1月前
|
人工智能 知识图谱
成熟的AI要学会自己搞研究!MIT推出科研特工
MIT推出科研特工SciAgents,结合生成式AI、本体表示和多代理建模,实现科学发现的自动化。通过大规模知识图谱和多代理系统,SciAgents能探索新领域、识别复杂模式,加速新材料发现,展现跨学科创新潜力。
42 12
|
29天前
|
机器学习/深度学习 人工智能 算法
基于AI的性能优化技术研究
基于AI的性能优化技术研究
|
2月前
|
人工智能 Serverless
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求,即可获得详细的实施方案。随后,按照AI助手提供的方案,通过函数计算部署应用,并进行测试。此过程显著提升了开发效率。
808 2
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
|
2月前
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
|
2月前
|
人工智能 自然语言处理
召唤100多位学者打分,斯坦福新研究:AI科学家创新确实强
【10月更文挑战第6天】斯坦福大学最新研究评估了大型语言模型(LLMs)在生成新颖研究想法方面的能力,通过100多位NLP专家盲评LLMs与人类研究人员提出的想法。结果显示,LLMs在新颖性方面超越人类(p < 0.05),但在可行性上略逊一筹。研究揭示了LLMs作为科研工具的潜力与挑战,并提出了进一步验证其实际效果的设计。论文详见:https://arxiv.org/abs/2409.04109。
45 6
|
2月前
|
人工智能 自然语言处理 机器人
MIT新研究揭秘AI洗脑术!AI聊天诱导人类编造记忆,真假难辨
麻省理工学院的一项新研究《基于大型语言模型的对话式AI在证人访谈中加剧虚假记忆》显示,使用生成式聊天机器人进行犯罪证人访谈会显著增加参与者的虚假记忆,且影响持久。研究设置了对照组、问卷访谈、预设脚本及生成式聊天机器人四种条件,结果显示生成式聊天机器人诱导的虚假记忆数量远超其他方法。尽管AI技术在效率和准确性方面潜力巨大,但在敏感领域需谨慎应用,并需进一步评估风险,制定伦理准则和监管措施。论文详细内容见[这里](https://arxiv.org/abs/2408.04681)。
52 2
|
7月前
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
860 0