目前有三个领域在做这件事情：计算机视觉、机器人学和计算机图形学。为什么之前的领域做不好呢？首先，如果你用计算机视觉方法去标的话，这些点是很稀疏、很残破的，而且不一定对，所以你产生不了一个密集的标签。如果用机器人学的方法去做，你得到的标签量是很有限的，因为它一天也抓不了几个。如果你用计算机图形学方法，它又不是真实的，这也会有很大的问题。所以，在我们之前，没有一种可行的方法可以廉价地产生大量 x 到 y 的 pair。
那么，我们是怎么做的呢？我们先扫描物体的模型，得到一个数字孪生。有关物体抓取的力觉模型会在上面起作用。我们可以把它迁移过去，迁移完成后我们什么都有了，然后我们就可以产生这样的一个 pair。
当然，大家可能会说，每次都要扫描、产生孪生模型好累啊。其实，我们采用了半自动的 data collection and labeling，能够非常快速地产生 20 亿个抓取点位。你想要再增加十倍的数据也很容易，但我们发现 20 亿个已经够用了。
有了这个东西之后，我们就要开始训练了。我们把「grasp」这个问题分解为 where（去哪里抓）和 how（怎么去抓）的贝叶斯问题，分别去估测网络。这个方法的准确率远远高于其他方法。
下面是一个抓取瓷器碎片的结果。我们怎么证明我们的方法是通用的呢？就是这种没见过的物体也可以抓起来。这个问题是有难度的，因为你把瓷器敲碎的瞬间，每个碎片都是独一无二的。但是，我们的方法能把每一片都稳定地抓起来。其实，我们能把几千个物体都稳定地抓起来。我们也能抓取一些小的或者动态的物体。这是世界上首个能抓取未知动态物体的机器人。此外，我们还能进行透明物体的抓取。透明物体为什么难？因为它的点云是缺失的。
我们这个论文两年内引用量达到 150+。我们在其中提出了新的数据、标准、算法以及系统。基于这些，我们可以做一个平台，让你不需要真机就能够去验证。这个事情就相当于，你看到的是真实的点云，看到之后你给我一些抓取的姿态，我就能给你返回你的成功率。我们也能做到超越人类水平，达到和人相媲美的 99.5% 的准确率。
以上就是我们前面提到的三个模块，我们也在逐步完善这样一个框架。它们也已经有了一些实际的应用。
具身智能与通用人工智能
接下来分享一下我们对具身智能与通用人工智能的看法。
为什么说具身智能可能是很好的一个走向未来的方案？人工智能是很多概念的总和。其中有些概念很难被测量或验证，比如让机器理解什么是社会，什么是责任。虽然它能给你输出一个表征，但我们很难检验机器是不是真的理解了这些概念，毕竟对于这些概念，每个人都有自己的看法。所以我们可以先在一些可验证、可测量的概念上面做出个闭环。而具身智能刚好是这样一个闭环，它很容易理解什么是锤子。所以我们认为，这样的具身智能可能是迈向通用智能的一个很好的起点，因为它可测量、可解释、可检验。
在交大，我们做了一个开源系统 ——Robotflow（https://robotflow.ai/），接入了二十几种机器人的程序，非常易于开发和部署，大家可以下载使用。
具身智能的脑认知
人体是最大的一个具身智能体。我们想知道人体在操作过程中，是一个什么样的机制催生它去做这样一件事情。这就涉及到脑科学，比如人切菜的时候，脑神经在干嘛；跳芭蕾的时候，脑神经又在干嘛。
我们要解决的第一个问题就是：我们看到的这样的视觉表征，和脑神经是否有一个稳定的映射关系。
这件事情在人身上其实很难验证（需要做侵入式实验），所以我们普遍是先做小鼠的实验：去看大规模的小鼠的行为，同时观测他的神经信号。如果二者有稳定的映射，我们就认为这个规律是存在的。
在这样的情况下，我们就通过训练，去提取大量的脑信号标签以及它的行为标签。这里面发挥很大作用的是我们提出的一整套非常鲁棒的行为检测系统，不然行为标签可能存在大量的错误。为什么要自动去检测呢？因为那么多小鼠的数据，人看是看不过来的。我们的实验结果是 93%，证明这种映射是相对稳定的。
当然，这里面有很多的挑战。我们需要去解决一个重大的问题：行为理解。就是说，理解小鼠的行为其实是一件困难的事情，我们在这方面也做了很多工作。
通过实验我们可以看到，小鼠的神经观测结果和行为的视觉表现是能对得上的，这是一件很神奇的事情。从长远的角度来讲，我们是不是可以把小鼠或者说生物体在做某种行为的时候，它的脑神经状态的表征，作为我们具身智能的一些表征？这个东西可能近 5 年内都没有办法做出来，但其实它对具身智能的发展来说是一个非常好的重点方向。
我们还有一些副产品非常有意思，就是对行为神经学、生物学的一些贡献。如果我们做神经回路，很多时候你要激活某个神经去分析行为。这种方式非常麻烦，不能产生大规模的自动分析结果，导致复杂行为（如社会行为）的神经解析仍然十分困难。有了这套系统之后，我们就能用人工智能的方法去解决它。这其实形成了一种范式的转变。
在大规模的视频跟踪中，我们可以同步小鼠的脑神经信号，去指定它是在哪个地方发生的，控制它的回路是在哪里。通过这种方法，我们成功地定位了控制小鼠社会等级行为的神经回路。这是神经学里面长期存在的一个难题。
我们的相关工作发表在《自然》杂志上。我是这篇文章的通讯作者之一，文章的另一位通讯作者是一位生物学家。我们已经把研究代码和新工具都开源了。有些人给了我们比较好的评价，认为我们是基于人工智能的一种探索行为神经机制的新方法，也有人认为说我们提出了一种很有前景的新算法。
我的讲座就到这里，谢谢大家。
