业界首个支持9种语言的文图生成模型！智源AltDiffusion开源技术解读

AIGC（AI-Generated Content 人工智能生成内容）是当前 AI 领域最热门的话题之一，受到学界、业界的广泛关注。尤其是伴随着 OpenAI DALL·E 2 的推出到 Stable Diffusion 的开源，文图生成也从之前的研究探索发展到了具有商业化落地潜力的新兴技术。最近一段时间，随着文本生成图像跨模态应用的不断涌现，AIGC 更是火爆出圈，广受关注。

然而，中文和其他语言的文图生成发展滞后于英语世界，大部分团队主要是基于翻译 API + 英文 Stable Diffusion 模型进行开发。在这个背景下，来自智源研究院的研究者通过搭建多语言文图表征模型 AltCLIP，提出了首个支持 9 种语言（英文、中文、日语、法语、韩语、西班牙语、俄语、意大利语、阿拉伯语）的文图生成模型 AltDiffusion。

该研究的主要贡献是搭建了一个多语言文图生成模型的基石，使得更多使用不同语言的创作者可以通过 AltDiffusion 模型进行创作。在 AltDiffusion 中可以观测到一些十分有意思的现象：不同的语言背后蕴含了不同的文化背景，这一点也在 AltDiffusion 生成的图片中有一定程度的反映。

为了方面大家更好的了解这一研究，在最新一期的线上分享中，机器之心邀请到了智源人工智能研究院自然语言和多模态研究负责人及 FlagAI 飞智开源项目负责人伍昱 (Ledell Wu) 为我们介绍关于多语言文图生成模型 AltDiffusion 和多语言多模态表征模型 AltCLIP。

分享主题：AltDiffusion: A multilingual text-to-image generation model

分享摘要：本次分享将介绍多语言文图生成模型 AltDiffusion 和多语言多模态表征模型 AltCLIP。AltCLIP 通过创新换塔和语言对齐等方式，搭建了一个支持多种语言的文图表征模型。AltDiffusion 使用 AltCLIP 作为文本表征，基于 Stable Diffusion 训练了支持 9 种语言的文图生成模型，为目前业界首个支持多种语言的文图生成模型。

嘉宾简介：伍昱(Ledell Wu)，智源人工智能研究院自然语言和多模态研究负责人及 FlagAI 飞智开源项目负责人。Facebook AI Research（FAIR）初期成员之一，主导了 StarSpace、PyTorch-BigGraph 和 BLINK 等多个深度学习研究项目和相应工程落地。热爱研究，热爱技术，崇尚极客。