多模态预训练模型与图像生成技术的结合让 AI 更智能、更有文化。
最近 AI 作画火爆出圈，国内外掀起了一波 AI 绘画热潮，各种社交媒体上用 AI 绘画模型生成的各种图片屡见不鲜。上个月，一位游戏设计师用 AI 作画工具 Midjourney（中途）创作的作品《太空歌剧院》获得了美国科罗拉多州博览会艺术比赛的金奖。
受此启发，中国人民大学卢志武教授团队将自身研发的多模态预训练模型文澜与最新的图像生成技术进行创新结合，打造了一款最懂中国传统文化的 AI 绘画生成模型。
文澜模型是中国人民大学高瓴人工智能学院执行院长文继荣教授、卢志武教授、宋睿华长聘副教授等领衔研发的大规模中文多模态预训练模型。文澜模型经过 6.5 亿弱相关中文图文对的预训练，学习到独特的中文语义理解能力并能很好地将中文语义与视觉信息联系起来，尤其擅长读取中文独有的含蓄语义与图片中的抽象概念。
今年 6 月，相关研究成果 “Towards artificial general intelligence via a multimodal foundation model” 已经发表在 Nature Communications（《自然 · 通讯》）上。
论文链接：https://www.nature.com/articles/s41467-022-30761-2
文澜与生成模型的结合
该研究团队通过挖掘文澜模型的潜力，将其与最新的生成技术进行创新性的结合，融合文澜的抽象语义理解能力与生成模型的强大生成能力，确保得到的模型能够出色地解读输入文本的语义并生成具有对应语义的图片。
团队专注于挖掘文澜在中国传统文化上的潜力，借用最新的生成模型架构，并在所搜集的国画数据集上进行训练，得到的模型能根据输入文本生成对应风格的图片。详细架构图如下所示。
具体来说，团队在国画数据集上训练了一个无条件生成模型，并通过迭代生成的方式用文澜模型对生成过程进行引导。
该方法首先随机初始化一张噪声图片。在每一步生成中，模型都会将生成的图片沿着与输入文本接近的方向调整生成图片的内容，使得每一步生成的图片内容与输入文本在文澜模型的隐空间中趋于一致。该步骤可描述为：
其中 x 和 y 分别表示图片和文本，IE 和 TE 分别表示文澜的图片编码器和文本编码器。通过不断迭代，该模型能够实现根据文本语义生成高质量符图片的功能。
文澜绘画模型的评测结果
由于文澜模型本身的特点，文澜绘画模型能够根据输入的中国古诗词生成对应的图片。从下述的例子可以看出，模型生成的图片与古诗词的内容和意境都非常契合。
同时，团队还发现文澜绘画模型甚至对晦涩难懂的儒释道思想也有独到的解读，生成的 AI 绘画作品获得了王阳明心学研究专家姜洋教授的高度认可。
为了更好地展现文澜绘画模型在解读儒释道思想上的特色，团队挑选了国内外最热门的 AI 绘画模型进行对比分析，包含盗梦师、文心、Disco Diffusion、Midjourney 和 Stable Diffusion。其中对 Disco Diffusion、Midjourney 和 Stable Diffusion 而言，中文文本需要先经过百度翻译。
首先在儒家思想方面，团队挑选了王阳明心学的三句代表性话。从下图生成的结果来看，盗梦师、Disco Diffusion、Midjourney 和 Stable Diffusion 偏向于生成句子中的一些具象物体或者生成一些画面较好但内容与句子并无太大关系的图片。文心则是倾向于生成带有人物的图片，甚至将光明直接对应成点燃的蜡烛。
而文澜绘画模型能够更好地读取整句话的意思以及其中蕴含的儒家思想，从而生成更契合该思想的图片。
文澜解读儒家思想。
其次对于含有释家思想的文本输入，目前最火的绘画生成模型均只能抓住其中的一些具象物体并进行针对性生成，有的绘画模型甚至有可能误解其中的思想。
如下图生成结果所示，文心将 “见道忘山者人间亦寂也，见山忘道者山中也喧也” 理解成道家的思想（生成了一个道士的形象）。文澜绘画模型则很好地解读输入文本的释家思想并将之反映在生成的图片中。
文澜解读释家思想
最后在道家思想方面，团队挑选了道德经中最核心的三句话。文心相对于盗梦师、Disco Diffusion、Midjourney 和 Stable Diffusion，对道德经有较好的解读能力。
但整体来说，文澜绘画模型对道家思想解读得更加到位，生成的图片更具有道家的意境。
文澜解读道家思想
总结
文澜团队将近期大火的 AI 绘画生成技术与中文多模态预训练模型文澜相结合，深度挖掘文澜模型在中国传统文化上的潜力，并通过生成模型以图片的形式展现出来，从而让普通大众对一些深奥的中国传统文化思想有了更直观的了解。
