WordArt Designer:基于用户驱动与大语言模型的艺术字生成

本文涉及的产品
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
简介: 本文介绍了一个基于用户驱动,依赖于大型语言模型(LLMs)的艺术字生成框架WordArt Designer。该系统包含四个关键模块:LLM引擎、SemTypo、Stlytypo和TextTypo模块。由gpt-3.5 turbo驱动的LLM引擎可以解释用户输入,从而将抽象概念转化为具体的设计。SemTypo模块使用语义概念优化字体设计,在艺术转换和可读性之间取得平衡。在SemTypo的基础上,StyTypo模块辅助生成精细的图像。TextTypo模块通过纹理渲染进一步生成创造性纹理字体。

创空间体验链接:https://modelscope.cn/studios/WordArt/WordArt/summary

7B373F96-8245-42C0-B6AC-91AB01FA640A.png

图 1. WordArt Designer 交互原理示意图

     艺术字设计是语言和设计的一个关键交叉点,在广告、幼儿教育和历史旅游等各个领域都有广泛的应用。遗憾的是,对于非专业的设计师来说,掌握艺术字设计仍然是一个非常挑战的任务。尽管之前已经有研究工作尝试弥合业余设计师和专业艺术字设计之间的差距,但现有的解决方案主要是在预定义的概念中生成语义连贯和视觉上令人愉悦的艺术字。这些解决方案通常缺乏适应性、创造性和计算效率。

image.png

图2. 由WordArt Designer生成的抽象艺术排版示例。这些实例证明了系统产生美观、语义连贯和风格多样的排版设计的能力。

方法概述

WordArt Designer 系统利用各种排版合成模块,由大型语言模型(LLM)推动,如GPT 3/4,促进交互式、以用户为中心的设计过程。如图3所示,用户定义他们的设计需求,包括设计概念和领域,例如,“珠宝设计中的猫”。LLM引擎解释输入,生成提示以指导SemTypo、stytypo和TextTypo模块,从而执行用户的设计愿景。 为了实现WordArt的自动化设计,我们引入了一个质量评估反馈机制,这是成功合成的关键。 排序模型的输出由LLM引擎评估,以验证合成图像的质量,确保创建至少K个合格的语义变换。 如果不满足这个条件,LLM引擎以及SemTypo和stytypo模块和格式指令将重新启动,以进行另一个设计迭代。后续部分将深入研究每个模块的功能和操作的细节。

image.png

图3. WordArt Designer 技术框架图

WordArt Designer 效果示例

150字 变形字矩阵展示(StylTypo)

image.png

纹理展示

珠宝纹理

matrix-jewelry-resized.gif

(因上传图像大小限制原图有压缩失真)

水果纹理

matrix-fruit.gif

(因上传图像大小限制原图有压缩失真)

纹理细节

image.png

多语言支持展示

image.png

行业基础模型纹理展示

image.png

动画应用示例 (刷新可重新播放)

Vincent-van-Gogh-style-bamboo.gifVincent-van-Gogh-style-flower.gifVincent-van-Gogh-style-fish.gifvegetable-flower1.gifbamboo-landscape.giffollower-landscape-spring.gifVincent van Gogh style, spring.gifVincent van Gogh style, could.gifVincent van Gogh style, frog.gifvarious jewelry, golden.gif

相关文章
|
29天前
|
人工智能 Python
JoyCaption:开源的图像转提示词生成工具,支持多种风格和场景,性能与 GPT4o 相当
JoyCaption 是一款开源的图像提示词生成工具,支持多种生成模式和灵活的提示选项,适用于社交媒体、图像标注、内容创作等场景,帮助用户快速生成高质量图像描述。
120 21
JoyCaption:开源的图像转提示词生成工具,支持多种风格和场景,性能与 GPT4o 相当
|
5月前
|
人工智能 自然语言处理 机器人
【Prompt Engineering 提示词工程指南】​文本概括、信息提取、问答、文本分类、对话、代码生成、推理​
本文介绍了使用提示词与大语言模型(LLM)交互的基础知识。通过调整参数如温度(Temperature)、最高概率词元(Top_p)、最大长度(Max Length)及停止序列(Stop Sequences),可以优化模型输出。温度参数影响结果的随机性;Top_p 控制结果的多样性;最大长度限制输出长度;停止序列确保输出符合预期结构。此外,频率惩罚(Frequency Penalty)和存在惩罚(Presence Penalty)可减少重复词汇,提升输出质量。提示词需包含明确指令、上下文信息、输入数据及输出指示,以引导模型生成理想的文本。设计提示词时应注重具体性、避免歧义,并关注模型的具体行为
582 1
|
6月前
|
存储 人工智能 JSON
|
4月前
|
自然语言处理
要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 23 章:命名实体识别提示
要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 23 章:命名实体识别提示
43 0
|
6月前
|
机器学习/深度学习 自然语言处理 vr&ar
ICML 2024:复杂组合3D场景生成,LLMs对话式3D可控生成编辑框架来了
【8月更文挑战第24天】近年来,3D内容生成技术为虚拟现实和游戏领域带来革新,但仍面临处理复杂场景和多对象交互的挑战。为此,研究者提出了Layout-guided Gaussian Splatting (LGS)框架,结合大型语言模型(LLMs)和扩散模型,实现高质量3D场景生成。LGS通过LLMs提取文本描述中的实例关系并转化为布局,再使用扩散模型和自适应几何控制技术优化3D高斯表示,生成更准确、细腻的场景。实验表明,LGS在复杂场景生成方面表现优异,但计算成本和训练时间较长,且主要针对静态场景。论文详情参见:https://arxiv.org/pdf/2402.07207
94 3
|
6月前
|
数据采集 人工智能 监控
赌你一定想要!OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
Label-LLM 是一款专为大模型训练设计的多模态文本对话标注工具,支持团队协作,让标注工作变得简单高效。它不仅涵盖丰富的任务类型,如回答采集、偏好收集和内容评估等,还支持多模态数据标注,包括图像、视频和音频。Label-LLM具备预标注载入功能,能大幅提升工作效率,并提供全方位的任务管理与可视化分析,确保标注质量。快来体验这款强大的标注平台吧![部署文档](https://github.com/opendatalab/LabelLLM)
1157 0
赌你一定想要!OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
|
7月前
|
人工智能
Prompt工程问题之通过prompt使AI输出的语言风格多变如何解决
Prompt工程问题之通过prompt使AI输出的语言风格多变如何解决
81 4
|
8月前
|
机器学习/深度学习 人工智能
|
9月前
|
机器学习/深度学习 自然语言处理
【大模型】如何处理微调LLM来编写创意内容?
【5月更文挑战第7天】【大模型】如何处理微调LLM来编写创意内容?
|
9月前
|
vr&ar 图形学
论文介绍:3D-SceneDreamer——基于文本驱动的3D场景生成技术
【5月更文挑战第2天】3D-SceneDreamer是一款文本驱动的3D场景生成工具,利用NeRF技术简化3D内容创作,通过文本描述创建室内及室外场景。该框架支持6-DOF摄像机轨迹,提高视角自由度。研究结合预训练的文本到图像模型解决3D数据稀缺问题,实现高质量、几何一致的场景生成。尽管面临文本描述精度和实际应用挑战,但该技术为3D场景生成带来显著进步。[论文链接](https://arxiv.org/pdf/2403.09439.pdf)
304 6