加上Web UI,文本-图像模型Stable Diffusion变身绘图工具,生成艺术大片

简介: 加上Web UI,文本-图像模型Stable Diffusion变身绘图工具,生成艺术大片
对于艺术家和插图画家来说,这类绘图工具虽然省时省力,但如何保持自己的创作风格是一个大问题。


前段时间,来自慕尼黑大学和 Runway 的研究者,与Eleuther AI、LAION 等团队合作,共同开发了一种文本转图像模型 Stable Diffusion。这项研究入选CVPR 2022 Oral。

Stable Diffusion 可以在消费级 GPU 上的 10 GB VRAM 下运行,并在几秒钟内生成 512x512 像素的图像,无需预处理和后处理。

Stable Diffusion的生成效果是这样的。宇宙的演变:


生物的进化:


这成片质量妥妥达到了大片级别。试想一下,如果将Stable Diffusion的作图功能发展成为一种绘画工具,将其与Web UI相结合,会带来怎样的设计体验。现在,有这样一个项目,可以满足广大研究者的需求。



有了这个项目,没有系统学习UI知识的小伙伴,也可以上手操作。例如自己动手设计城堡,并且周围环境按自己喜好来设计:


在城堡外面安排一名侍卫,并让一位骑马的战士奔向城堡:


城堡上空的光线不好,想换种颜色,也以实现:


不过想要实现上述效果,还需要Gradio库,这是一个免费、开源的Python库,它允许用户为机器学习模型开发易于使用的可定制组件演示,还可以帮助用户构建一个可以互动的网络应用。

不过带有Gradio UI的原始脚本是由一位匿名用户编写的,现在该项目进行了一些修改:


借助这一项目,用户不再需要手动输入参数,需要做的是编写提示并调整滑块就可以了,其强大的设计工具,还可用于重新生成要更改的图像的特定部分,并且生成的图像失真少、质量还高。


该库还内置了GFPGAN选项,不到半秒就能修复失真人脸;此外还内置了RealESRGAN选项,用来提高图像的分辨率。

网友:文本转图像模型有利有弊

对于Stable Diffusion的这一应用,众多网友表示「赞极了」。

对于它的应用前景,更有人预测称,「未来几年用它做专辑封面将会变得更加疯狂。」

不过也有持相反意见的,认为「这是该技术对艺术家和插图画家有害的典型例子,他们不用付出太多天赋和努力就能生成不可思议的艺术图像。不过未来仍需要艺术家,只要他们将自己的风格融入到这些模型中。」

还有些网友认为,文本转图像有点像语言翻译领域正在经历的事情。借助机器学习模型生成的译文质量不一,然后译者对译文进行润色编辑。而由于生成的图像具有各种各样的伪影,艺术家们可能要做更多的修饰工作。


image.png

相关文章
|
5月前
|
机器学习/深度学习 算法 定位技术
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现裂缝的检测识别(C#代码UI界面版)
本项目基于YOLOv8模型与C#界面,结合Baumer工业相机,实现裂缝的高效检测识别。支持图像、视频及摄像头输入,具备高精度与实时性,适用于桥梁、路面、隧道等多种工业场景。
626 27
|
8月前
|
人工智能
WEB CAD 利用AI编程实现多行文本的二次开发
本文介绍了在MxCAD插件中实现自定义编辑器实体类的功能,重点展示如何通过MxCADMText类在CAD中渲染和管理富文本。文章详细说明了注册同心圆实体文本的步骤,包括实现自定义文本类、注册自定义文本以及交互式修改参数的方法。此外,还扩展实践了粗糙度实体文本的注册与应用,涵盖构造粗糙度自定义实体文本类、注册及初始化过程,并通过示例图展示了运行效果。这些功能可帮助用户将复杂图形以文本形式插入多行文本中,提升项目设计效率。
|
9月前
|
前端开发 JavaScript API
给Web开发者的HarmonyOS指南01-文本样式
本系列教程适合 HarmonyOS 初学者,为那些熟悉用 HTML 与 CSS 语法的 Web 前端开发者准备的。
309 5
给Web开发者的HarmonyOS指南01-文本样式
|
数据处理
「Mac畅玩鸿蒙与硬件45」UI互动应用篇22 - 评分统计工具
本篇将带你实现一个评分统计工具,用户可以对多个选项进行评分。应用会实时更新每个选项的评分结果,并统计平均分。这一功能适合用于问卷调查或评分统计的场景。
364 65
「Mac畅玩鸿蒙与硬件45」UI互动应用篇22 - 评分统计工具
|
11月前
|
人工智能 编解码 自然语言处理
Aria-UI:港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型,整合动作历史信息实现更加准确的定位
Aria-UI 是香港大学与 Rhymes AI 联合开发的多模态模型,专为 GUI 智能交互设计,支持高分辨率图像处理,适用于自动化测试、用户交互辅助等场景。
465 11
Aria-UI:港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型,整合动作历史信息实现更加准确的定位
|
10月前
|
人工智能 自然语言处理 前端开发
Flame:开源AI设计图转代码模型!生成React组件,精准还原UI+动态交互效果
Flame 是一款开源的多模态 AI 模型,能够将 UI 设计图转换为高质量的现代前端代码,支持 React 等主流框架,具备动态交互、组件化开发等功能,显著提升前端开发效率。
1580 1
|
11月前
不要再责怪你的UI设计师为什么没有用rp?ps?figma?sketch?xd?如何免费转换非在线工具收费转换-本文将教会你常规ui设计源文件格式相互之间如何转换并且保持矢量图和标注注释问题-优雅草央千澈
不要再责怪你的UI设计师为什么没有用rp?ps?figma?sketch?xd?如何免费转换非在线工具收费转换-本文将教会你常规ui设计源文件格式相互之间如何转换并且保持矢量图和标注注释问题-优雅草央千澈
393 1
|
前端开发
【前端web入门第三天】02 CSS字体和文本
本文详细介绍了CSS中字体和文本的相关属性。字体部分涵盖字体大小、粗细、样式、行高、字体族及`font`复合属性,通过具体示例展示了如何设置和使用这些属性。文本部分则讲解了文本缩进、对齐方式、修饰线及文字颜色等属性,并提供了实用的代码示例。此外,还简要介绍了调试工具中的一些细节,如错误属性标识和属性生效状态的控制。
268 28
|
人工智能 搜索推荐 API
用于企业AI搜索的Bocha Web Search API,给LLM提供联网搜索能力和长文本上下文
博查Web Search API是由博查提供的企业级互联网网页搜索API接口,允许开发者通过编程访问博查搜索引擎的搜索结果和相关信息,实现在应用程序或网站中集成搜索功能。该API支持近亿级网页内容搜索,适用于各类AI应用、RAG应用和AI Agent智能体的开发,解决数据安全、价格高昂和内容合规等问题。通过注册博查开发者账户、获取API KEY并调用API,开发者可以轻松集成搜索功能。
|
编解码 Android开发
【Android Studio】使用UI工具绘制,ConstraintLayout 限制性布局,快速上手
本文介绍了Android Studio中使用ConstraintLayout布局的方法,通过创建布局文件、设置控件约束等步骤,快速上手UI设计,并提供了一个TV Launcher界面布局的绘制示例。
401 1