OpenAI：DALL・E 2 就是最好的。谷歌：看下我们 Imagen 生成的柴犬？
多模态学习近来受到重视，特别是文本 - 图像合成和图像 - 文本对比学习两个方向。一些模型因在创意图像生成、编辑方面的应用引起了公众的广泛关注，例如 OpenAI 的文本转图像模型 DALL・E、英伟达的 GauGAN。现在，来自谷歌的研究者也在这一方向做出了探索，提出了一种文本到图像的扩散模型 Imagen。
Imagen 结合了 Transformer 语言模型和高保真扩散模型的强大功能，在文本到图像的合成中提供前所未有的逼真度和语言理解能力。与仅使用图像 - 文本数据进行模型训练的先前工作相比，Imagen 的关键突破在于：谷歌的研究者发现在纯文本语料库上预训练的大型 LM 的文本嵌入对文本到图像的合成显著有效。Imagen 的文本到图像生成可谓天马行空，能生成多种奇幻却逼真的有趣图像。
比如正在户外享受骑行的柴犬：
泰迪熊的 400 米蝶泳首秀：
狗狗照镜子发现自己是只猫：
火龙果成精要打空手道了：
如果你觉得这些图片过于魔幻，那下面这张小鸟生气的图就非常真实了，隔着屏幕都能感觉到它的愤怒：
我们发现这些图片的分辨率都很高，像是人工精心 PS 过的。然而这些模型都出自 Imagen 这个 AI 模型之手。
Imagen 模型中包含一个 frozen T5-XXL 编码器，用于将输入文本映射到一系列嵌入和一个 64×64 的图像扩散模型中，并带有两个超分辨率扩散模型，用于生成 256×256 和 1024×1024 的图像。
其中，所有扩散模型都以文本嵌入序列为条件，并使用无分类器指导。借助新型采样技术，Imagen 允许使用较大的指导权重，而不会发生样本质量下降，使得生成的图像具有更高的保真度、图像与文本更加吻合。
虽然架构简单且易于训练，但 Imagen 产生了令人惊讶的强大结果。Imagen 在 COCO 上的零样本 FID-30K 分数为 7.27，性能显著优于之前的方法（GLIDE、DALL-E 2 等），并超越了当前的 SOTA 模型 Make-A-Scene（7.27 VS 7.55）。从人工评估看，Imagen 生成的样本在图像文本对齐方面与 COCO captions 的参考图像相当。
此外，研究者还提出了一种用于文本到图像评估的文本 prompt 结构化新套件 DrawBench。DrawBench 对文本到图像模型进行多维评估，文本 prompt 旨在探索模型的不同语义属性。这些 prompt 包括组合性、基数、空间关系、处理复杂文本 prompt 或带有稀有单词的 prompt 的能力，它们包括创造性 prompt，这些 prompt 将模型生成高度难以置信的场景的能力扩展到训练数据范围之外。
借助 DrawBench，研究者进行了广泛的人工评估，结果表明，Imagen 的性能明显优于其他方法。研究者进一步展示了相对于多模态嵌入（例如 CLIP）， 使用大型预训练语言模型作为 Imagen 的文本编码器具有明显的优势。
论文地址：https://gweb-research-imagen.appspot.com/paper.pdf
