编码模型
图 6 显示了编码模型对与 LDM 相关的三种潜像的预测精度：z，原始图像的潜像；c，图像文本注释的潜像；以及 z_c，经过与 c 交叉注意力反向扩散过程后的 z 的加噪潜像表征。
图 7 显示，当加入少量的噪声时，z 对整个皮层的体素活动的预测比 z_c 更好。有趣的是，当增加噪声水平时，z_c 对高位视觉皮层内体素活动的预测优于 z，表明图像的语义内容逐渐被强调。
在迭代去噪过程中，添加噪声的潜在表征如何变化？图 8 显示，在去噪过程的早期阶段，z 信号主导了 fMRI 信号的预测。在去噪过程的中间阶段，z_c 对高位视觉皮层内活动的预测比 z 好得多，表明大部分语义内容在这个阶段出现了。结果显示了 LDM 如何从噪声中提炼和生成图像。
最后，研究者探讨了 U-Net 的每一层都在处理什么信息。图 9 显示了去噪过程的不同步骤（早期、中期、晚期）以及 U-Net 不同层的编码模型的结果。在去噪过程的早期阶段，U-Net 的瓶颈层（橙色）在整个皮层中产生了最高的预测性能。然而，随着去噪的进行，U-Net 的早期层（蓝色）预测早期视觉皮层内的活动，而瓶颈层则转向对更高的视觉皮层的卓越预测能力。
更多研究细节，可查看原论文。
