基于一段单目 RGB-D 视频恢复目标动态物的几何和运动信息是计算机视觉的经典问题之一。针对该问题的解决方案在虚拟现实、增强现实等领域有着广泛的应用前景。其中以 DynamicFusion 为首的一系列动态融合算法将变形图（Deformation Graph）和截断符号距离场（TSDF）分别作为运动与几何的表征。但由于没有在一个可微的框架下将采集的颜色信息和深度信息一同表示，这类方法未能在重建阶段将颜色信息充分地利用。因此其重建的结果在保真度上依然有不小的提升空间。
为此在 NeurIPS 2022 上，中国科学技术大学等机构结合神经隐式表示提出了一个单目 RGB-D 动态重建方案 NDR。NDR 通过无模板先验的隐式形变场恢复运动信息并将观测帧的采样点变换到基准空间，再通过基准空间中的符号距离场和神经辐射场分别恢复几何与颜色信息。为了保证运动信息的周期一致性，在形变场中设计了一个符合非刚性运动的双射模块。同时，为了解决动态场景中常见的拓扑变化问题，引入了拓扑感知网络。此外，设计的 RGB-D 损失函数能确保 NDR 最终优化出高质量的几何与运动。
机器之心最新一期线上分享邀请到了中国科学技术大学 GCL 实验室三维视觉课题组博士生蔡泓锐（导师为张举勇教授），介绍神经动态重建方案 NDR。
分享主题：NDR：基于单目RGB-D视频的动态重建
分享嘉宾：蔡泓锐，中国科学技术大学 GCL 实验室三维视觉课题组在读博士生。导师为张举勇教授。本科毕业于华南理工大学数学学院。研究方向是三维数字内容的重建、理解与生成。
分享摘要：将分享在 NeurIPS 2022 上提出的一个神经动态重建方案 NDR。它是一种无模板的方法，可以基于单目 RGB-D 视频得到动态场景的高保真几何和运动信息。它能同时保证运动的周期一致性并处理拓扑变化场景。代码现已开源。
相关链接：
Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera. NeurIPS 2022.
1）SOTA！模型平台项目主页链接：
https://sota.jiqizhixin.com/project/ndr
2）论文链接：
https://arxiv.org/abs/2206.15258
3）项目主页：
https://ustc3dv.github.io/ndr/
4）开源代码仓库：
