下一个例子是清华朱军老师的团队发布的 UniDiffuser 模型。这个模型从学术角度真正做到了多模态输入生成文字、生成视觉内容，这得益于他们基于 transformer 的网络架构 U-ViT，类似于 Stable Diffusion 最核心的部件 U-Net，进而把图像的生成和文本的生成统一在一个框架里。这个工作本身是很有意义的，但还是比较初期，比如只考虑了 Captioning 和 VQA 任务，没有考虑多轮对话，也没有做多模态生成上的指令微调。
前面评价了这么多，那我们自己也做了一个产品叫 ChatImg，如下图所示。总体来说，ChatImg 包含图像编码器、图文多模态编码器和文本解码器，和 Flamingo、BLIP-2 是类似的，但是我们考虑的更多，具体实现的时候有细节差异。
ChatImg 最大的一个优势是可以接受视频输入。我们特别重视多模态通用生成，包括生成文字、生成图像、生成视频。我们希望在这一个框架里实现多种生成任务，最终希望接入文字生成视频。
第二，我们特别重视真实用户的数据，我们希望得到真实用户数据以后不停优化生成模型本身，提高它的能力，所以我们发布了 ChatImg 应用。
下图是我们测试的一些例子，作为一个初期模型，虽然还有一些做得不好的地方，但总体来说 ChatImg 对图片的理解还是可以的。比如，ChatImg 可以在对话中生成对画作的描述，也能做一些 In-context learning。
上图第一个例子描述了《星夜》这幅画，在描述中 ChatImg 称梵高是美国画家，你告诉它错了，它马上就可以纠正过来；第二个例子 ChatImg 对图中的物体做出了物理推断；第三个例子是我自己拍的一张照片，这个照片里面有两道彩虹，它准确地识别到了。
我们注意到上图第三和第四个例子涉及到情绪方面的问题。这其实与我们接下来要做的工作有关，我们想把 ChatImg 接入到机器人里面去。现在的机器人通常是被动的，所有的指令全部是预设的，显得很呆板。我们希望接入 ChatImg 的机器人可以主动和人交流。怎么做到这一点呢？首先机器人一定要能感受到人，可能是客观地看到世界的状态和人的情绪，也可能是获得一种反映；然后机器人才能理解，才能跟人主动交流。通过这两个例子我感觉这个目标是可以实现的。
最后，我总结一下今天的报告。首先，ChatGPT 和 GPT-4 带来了研究范式的革新，我们所有人都应该去积极拥抱这个变化，不能抱怨，不能找借口说没有资源，只要去面对这个变化，总有办法克服困难。多模态研究甚至也不需要几百卡的机器，只要采用对应的策略，少量的机器也可以做出很好的工作。第二，现有的多模态生成模型都存在各自的问题，GPT-4 还没有开放视觉版，我们所有人也都还有机会。并且，我认为 GPT-4 还有一个问题，就是多模态生成模型最终应该是什么样子它没有给一个完美答案（实际上是没有透露 GPT-4 的任何细节）。这其实是一件好事，全世界的人都很聪明，每个人都有自己的想法，这可能会形成百花齐放的研究新局面。我的演讲就到这里，谢谢大家。
