田渊栋等原班人马又一新作:AI生成长篇故事,数千字长文也能连贯、有趣

简介: 田渊栋等原班人马又一新作:AI生成长篇故事,数千字长文也能连贯、有趣


以后,写故事这脑力活可以交给 AI 了。

前段时间,模仿人类写作过程的语言模型 Re^3 发布,该模型不需要微调大模型,而是通过设计 prompt 来生成一致性强的故事。

现在,该研究团队又提出了一个生成故事的新模型 DOC。论文作者 Kevin Yang、田渊栋也在推特上发文宣传了 DOC 模型,表示 DOC 比 Re^3 生成的故事更加连贯、有趣。


DOC 框架意指详细大纲控制(Detailed Outline Control),用于在自动生成数千字长故事时提高情节的连贯性。DOC 由两个互补的组件组成:详细大纲组件(Detailed Outliner)、详细控制器(Detailed Controller)。


论文地址:https://arxiv.org/pdf/2212.10077.pdf

Detailed Outliner 负责创建详细的、分层结构的大纲,将写作创意从起草转移到规划阶段。Detailed Controller 则通过控制故事段落与大纲细节对齐,确保生成结果遵循详细的大纲。

该研究对模型自动生成故事的功能进行了人工评估,DOC 在多个指标上获得了大幅增益:情节连贯性(22.5%)、大纲相关性(28.2%)和趣味性(20.7%),大大优于 Re^3 模型。此外,DOC 在交互式生成环境中更易于控制。

DOC

与 Re^3 类似,DOC 通过将写作过程分解为计划、起草、重写和编辑步骤,生成超过 2000 字、情节连贯的长篇故事。DOC 遵循 Re^3 的高级写作过程和基于结构化提示的段落生成。不过 DOC 删除了耗时的编辑步骤,即便如此,但对最终故事的质量没有影响。

不同于 Re^3 存在的缺点,如无法保持远程情节的连贯性、与周围环境不符的冗长段落、故事经常偏离最初计划等,DOC 旨在通过两项创新来解决这些缺点:通过 Detailed Outliner 实施更详细的规划,通过 Detailed Controller 在起草过程中相应地进行更详细的控制。

DOC 的高层概述。


Detailed Outliner

Detailed Outliner 递归地生成任意粒度的分层详细大纲。图 3 总结了各个组件。


Detailed Controller


Detailed Controller 增强了生成器与详细大纲保持相关性的能力。该研究将 Detailed Controller 实现为 FUDGE 控制器,以根据给定的摘要指导段落生成。

在起草过程中,Detailed Controller 的灵活性体现在:

  1. 事件。将事件描述(图 2,橙色文本)逐字输入控制器。
  2. 设置。如果设置发生变化,该研究通过构建输入摘要来说明角色移动到新设置,与事件描述相比使用较低的控制强度。
  3. 角色。如果出现了一个没有出现在前一个大纲条目中的角色,该研究还是通过构建一个输入摘要来说明这一点,再次使用较低的控制强度。



实验与评估

该研究比较了处于同一顶级大纲条目的 1000 到 1500 字的段落,而不是完整的故事。评估指标包括三个:连贯性、相关性以及趣味性。

结果如表 1 所示,DOC 生成的段落情节更加连贯且与大纲相关。


表 3 显示了 DOC 根据表 2 中的详细大纲(经大量删节)编写的一个故事(经大量删节):虽然有些问题仍然存在,但故事还保持整体连贯,遵循大纲内容。


人机交互故事生成:如表 4 所示,在四个人机交互指标上,人类更喜欢 DOC 而不是 RE^3 生成的故事:至少四分之三的人表示 DOC 在每个评估指标上都更优秀。


消融实验

为了评估 DOC 的两个主要组成部分,该研究对 DOC 进行了如下两种修改:

  • DOC-NOOUTLINE,仅根据粗略大纲而不是完整的详细大纲生成故事,使用固定强度的 Detailed Controller。
  • DOC-NOCONTROL,除了 Detailed Controller 关闭外,其他设置与 DOC 相同。


消融实验的结果如下表 5 所示:


该研究发现,与 Re^3 相比,趣味性的提高主要是由于 DOC 有更详细的大纲;而 Detailed Controller 可能会稍微损害趣味性。该研究通过定性观察发现:进一步增加控制强度会产生更多重复的输出,这些输出越来越狭隘地拟合给定的大纲,而失去了创造力。

如下表 6 所示,该研究又进一步实验证明:Detailed Controller 的作用是大大提高 DOC 在起草过程中遵循大纲细节的能力。


了解更多研究,请参考原论文。

相关文章
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
566 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
人工智能 数据挖掘
AI长脑子了?LLM惊现人类脑叶结构并有数学代码分区,MIT大牛新作震惊学界!
麻省理工学院的一项新研究揭示了大型语言模型(LLM)内部概念空间的几何结构,与人脑类似。研究通过分析稀疏自编码器生成的高维向量,发现了概念空间在原子、大脑和星系三个层次上的独特结构,为理解LLM的内部机制提供了新视角。论文地址:https://arxiv.org/abs/2410.19750
278 12
|
人工智能 自然语言处理 数据挖掘
田渊栋团队新作祭出Agent-as-a-Judge!AI智能体自我审判,成本暴跌97%
田渊栋团队提出Agent-as-a-Judge框架,利用智能体自身评估其他智能体的性能,不仅关注最终结果,还能提供中间反馈,更全面准确地反映智能体的真实能力。该框架在DevAI基准测试中表现出色,成本效益显著,为智能体的自我改进提供了有力支持。
358 7
|
机器学习/深度学习 人工智能 机器人
何恺明新作出炉!异构预训练Transformer颠覆本体视觉学习范式,AI性能暴涨超20%
【10月更文挑战第29天】在机器人学习领域,训练通用模型面临数据异构性的挑战。近期研究“Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers”提出异构预训练Transformer(HPT),通过大规模预训练学习跨不同本体和任务的共享表示,显著提升了性能。实验结果显示,HPT在未见过的任务上表现优异,性能提升超过20%。
332 6
|
人工智能 自然语言处理 vr&ar
ControlNet作者重磅新作LayerDiffusion,AI绘画能分图层了
【2月更文挑战第13天】ControlNet作者重磅新作LayerDiffusion,AI绘画能分图层了
470 2
ControlNet作者重磅新作LayerDiffusion,AI绘画能分图层了
|
人工智能 搜索推荐
杨笛一新作:社恐有救了,AI大模型一对一陪聊,帮i人变成e人
【4月更文挑战第24天】杨笛一团队研发的AI大模型,以“AI伙伴”和“AI导师”框架帮助社恐人群提升社交技能。通过模拟真实场景和个性化反馈,该方法降低训练门槛,增强学习者自信。但也有挑战,如保持AI模拟的真实性,防止反馈偏见,并避免过度依赖。研究强调,AI应作为辅助工具而非替代。[论文链接](https://arxiv.org/pdf/2404.04204.pdf)
320 1
|
2月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
584 41
|
2月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
469 30
|
3月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
949 49
|
2月前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
421 1

热门文章

最新文章