谷歌、Meta 等科技巨头又挖了一个新坑。
在文本转图像上卷了大半年之后，Meta、谷歌等科技巨头又将目光投向了一个新的战场：文本转视频。
上周，Meta 公布了一个能够生成高质量短视频的工具——Make-A-Video，利用这款工具生成的视频非常具有想象力。
当然，谷歌也不甘示弱。刚刚，该公司 CEO Sundar Pichai 亲自安利了他们在这一领域的最新成果：两款文本转视频工具——Imagen Video 与 Phenaki。前者主打视频品质，后者主要挑战视频长度，可以说各有千秋。
下面这个洗盘子的泰迪熊就是用 Imagen Video 生成的，可以看到，画面的分辨率和连贯性都有一定的保障。
下面这个片段是由 Phenaki 生成的，视频长达 2.5 分钟。可以看出，模型对于长 prompt 的解析非常出色。
，时长02:49
这段视频的prompt为：「First person view of riding a motorcycle through a busy street. First person view of riding a motorcycle through a busy road in the woods. First person view of very slowly riding a motorcycle in the woods. First person view braking in a motorcycle in the woods. Running through the woods. First person view of running through the woods towards a beautiful house. First person view of running towards a large house. Running through houses between the cats. The backyard becomes empty. An elephant walks into the backyard. The backyard becomes empty. A robot walks into the backyard. A robot dances tango. First person view of running between houses with robots. First person view of running between houses; in the horizon, a lighthouse. First person view of flying on the sea over the ships. Zoom towards the ship. Zoom out quickly to show the coastal city. Zoom out quickly from the coastal city.」 Imagen Video：给出文本提示，生成高清视频生成式建模在最近的文本到图像 AI 系统中取得了重大进展，比如 DALL-E 2、Imagen、Parti、CogView 和 Latent Diffusion。特别地，扩散模型在密度估计、文本到语音、图像到图像、文本到图像和 3D 合成等多种生成式建模任务中取得了巨大成功。
谷歌想要做的是从文本生成视频。以往的视频生成工作集中于具有自回归模型的受限数据集、具有自回归先验的潜变量模型以及近来的非自回归潜变量方法。扩散模型也已经展示出了出色的中等分辨率视频生成能力。
在此基础上，谷歌推出了 Imagen Video，它是一个基于级联视频扩散模型的文本条件视频生成系统。给出文本提示，Imagen Video 就可以通过一个由 frozen T5 文本编码器、基础视频生成模型、级联时空视频超分辨率模型组成的系统来生成高清视频。
论文地址：https://imagen.research.google/video/paper.pdf
在论文中，谷歌详细描述了如何将该系统扩展为一个高清文本转视频模型，包括某些分辨率下选择全卷积时空超分辨率模型以及选择扩散模型的 v 参数化等设计决策。谷歌还将以往基于扩散的图像生成研究成果成功迁移到了视频生成设置中。
谷歌发现，Imagen Video 能够将以往工作生成的 24fps 64 帧 128×128 视频提升至 128 帧 1280×768 高清视频。此外，Imagen Video 还具有高度的可控性和世界知识，能够生成多样化艺术风格的视频和文本动画，还具备了 3D 对象理解能力。
让我们再来欣赏一些 Imagen Video 生成的视频，比如开车的熊猫：
遨游太空的木船：
更多生成视频请参阅：https://imagen.research.google/video/
方法与实验
整体而言，谷歌的视频生成框架是七个子视频扩散模型的级联，它们相应执行文本条件视频生成、空间超分辨率和时间超分辨率。借助整个级联，Imagen Video 能够以每秒 24 帧的速度生成 128 帧 1280×768 的高清视频（约 1.26 亿像素）。
与此同时，在渐进式蒸馏的帮助下，Imagen Video 的每个子模型中仅使用八个扩散步骤就能生成高质量视频。这将视频生成时间加快了大约 18 倍。
下图 6 展示了 Imagen Video 的整个级联 pipeline，包括 1 个 frozen 文本编码器、1 个基础视频扩散模型以及 3 个空间超分辨率（SSR）和 3 个时间超分辨率（TSR）模型。这七个视频扩散模型共有 116 亿参数。
在生成过程中，SSR 模型提高了所有输入帧的空间分辨率，同时 TSR 模型通过在输入帧之间填充中间帧来提高时间分辨率。所有模型同时生成一个完整的帧块，这样 SSR 模型不会遭受明显的伪影。
Imagen Video 构建在视频 U-Net 架构之上，具体如下图 7 所示。
在实验中，Imagen Video 在公开可用的 LAION-400M 图像文本数据集、1400 万个视频文本对和 6000 万个图像文本对上进行训练。结果正如上文所述，Imagen Video 不仅能够生成高清视频，还具备一些纯从数据中学习的非结构化生成模型所没有的独特功能。
下图 8 展示了 Imagen Video 能够生成具有从图像信息中学得的艺术风格的视频，例如梵高绘画风格或水彩画风格的视频。
下图 9 展示了 Imagen Video 对 3D 结构的理解能力，它能够生成旋转对象的视频，同时物体的大致结构也能保留。
下图 10 展示了 Imagen Video 能够可靠地生成各种动画样式的文本，其中一些使用传统工具很难来制作。
更多实验细节请参阅原论文。
