背景
多视角三维重建（MVS）是计算机领域的一项基础任务，目标是通过相机拍摄的图像和相机参数推导出现实环境中物体的三维信息。不同角度拍摄的图像会存在一些公共部分，合理分析并利用不同图像的关联是三维重建的基础。
近年来，基于深度学习的一系列研究在该任务上取得了卓越的成绩，受到广泛关注。然而，现有的方法需要在相机参考空间或物体空间构建一个三维卷积网络。这个三维卷积网络会随着场景精细度的增加而显著增加。现有方法的主要瓶颈在于空间复杂度和时间复杂度。
为了解决这一瓶颈，本文介绍了一种全新的基于点云的 MVS 神经网络框架 PointMVSNet。区别于之前的深度学习方法，该网络直接将目标场景作为点云进行处理，而不是整个三维空间，从而降低了网络复杂度。该方法首先生成粗粒度的深度图，通过相机参数转化成初始点云。在这组初始点云上估计当前深度图与真实深度图之间的残差，从而对点云迭代优化。该方法将二维纹理信息与三维几何信息进行融合，生成特征增强的点云，并迭代更新点云位置。实验证明，该基于点云的网络结构可以达到更高的精度，计算效率与灵活性。
- 项目链接：http://hansf.me/projects/PMVSNet/
- 论文链接：https://arxiv.org/pdf/1908.04422.pdf
- 开源代码链接：https://github.com/callmeray/PointMVSNet
方法
本文中，我们创新性地提出了基于三维点云的多视角三维重建神经网络结构 PointMVSNet。首先，我们用现有的方法生成一个初始粗粒度点云。之后，利用我们所提出的 PointFlow 模块作用于点云以及点云附近的局部区域优化。点云特征包含从图像多尺度二维神经网络中提取的纹理特征和从点云中提取的几何特征。PointFlow 模块会通过这些特征优化点云位置。这个优化过程会经过几次迭代，每次迭代都会更新点云特征，以获得更准确的位置预测。
图像特征提取
高质量的纹理特征对于 MVS 具有重要意义。因此我们选择采用图像金字塔网络，并融合不同尺度的纹理特征。之后，我们利用动态特征提取从图像金字塔网络中提取三维点云中每个点在各视角图像中的纹理特征，构建特征增强点云。值得注意的是，这一步骤与基于 cost volume 的网络结构存在显著区别，其中基于 cost volume 的方法中每个体素所对应的图像特征由其空间划分所确定并无法改变，而这里我们方法会根据更新后的点云位置动态从图像中提取纹理特征，因此可以集中于图像中感兴趣的区域。
PointFlow
为了使网络更好地更新点云位置，我们提出使用猜想点辅助网络预测。如上图所示，对于点云中的每一个点，我们沿着相机方向采样等步长的若干猜想点。为预测每个点的三维位移，我们利用 EdgeConv 处理由猜想点所构成的特征增强三维点云，学习猜想点的概率分布，将猜想点的期望位移作为每个点的预测位移。相比于简单的点云神经网络，EdgeConv 利用图神经网络将邻域的三维结构信息用于点云中各点间的特征传播，可以更有效的传播有效信息。PointFlow 可以迭代地作用于更新的三维点云，从而逐步优化点云位置，以达到更好的预测效果。
实验结果
首先是 PointMVSNet 在 DTU 数据集上重建结果，这里对比了现有的传统算法和深度学习算法。可以看出，PointMVSNet 取得了更好的重建完整度和整体效果。
下图展示了 MVSNet, PointMVSNet 的重建效果。第一行是点云图，第二行展示了局部区域法向量图。可以看出 PointMVSNet 重建效果更加锐利，细节更好。
接下是 PointMVSNet 和 MVSNet 的计算效率比较，见下表。通过改变 PointFlow 迭代次数，PointMVSNet 可以在高效与高精度之间灵活选择。此外，PointMVSNet 的显存使用效率高于 MVSNet, 能在同样的显存使用下生成更高分辨率的深度图像。
最后我们展示了基于点云的三维重建网络的灵活性。如下图所示，我们可以选择进行仅优化我们所感兴趣区域的点云，从而节约不必要的计算。
