写在前面
在上篇文章中，我们学习到了激光雷达和相机融合的论文。那么这篇文章我将来介绍一下毫米波雷达和相机融合的方法。这里我先给出三种传感器（相机、激光雷达、毫米波雷达）的一些属性特点，如下：
radar可以在检测到的物体上提供准确的距离和速率信息，但它们不适用于诸如物体分类之类的任务，因为它不能够识别物体的属性。另一方面，相机是用于对象分类的非常有效的传感器，使radar和相机传感器融合成为自动驾驶应用中非常有趣的话题。
RRPN网络
这篇文章的核心就是这个RRPN网络，主要由三个部分组成，即透视变换、锚点生成、距离补偿。值得一提的是这个RRPN网络是非常好理解的，但是你需要对fast-RCNN、faster-RCNN有一定的认识，论文中网络的整体整体框架也是和fast-RCNN类似的。下面将来分别介绍这三个部分。
- 透视变换
生成 ROI 的第一步是将雷达检测从车辆坐标映射到摄像机视图坐标。 雷达检测以鸟瞰图的形式报告，如下图所示，物体的距离和方位角在车辆的坐标系中测量。 通过将这些检测到的量映射到相机视图坐标，我们能够将雷达检测到的对象与相机获得的图像中看到的对象相关联。
上文红色字体的意思就是说我们可以将毫米波雷达的角度和距离数据投影到相机的三维坐标中，为方便大家理解，我画了从雷达坐标到相机坐标转化的示意图，如下：
这样我们就得到了相机坐标系下的坐标，之后可以通过四系坐标转化将坐标投影到像素坐标系下。论文中还提到了相机的标定，这里给出张氏标定法参考链接：https://blog.csdn.net/qq_47233366/article/details/124165936?spm=1001.2014.3001.5502🥝🥝🥝
- 锚点生成
从上一步我们已经将毫米波雷达检测坐标投影到了像素坐标系下，这时我们就有了图像中每个检测到的物体的大致位置。这些映射到图像上的点(以下称为兴趣点 (POI)) 提供了有关每个图像中对象的有价值的信息，从而无需对图像本身进行任何处理。有了这些信息，提出ROI的一种简单方法就是引入一个以每个POI为中心的边界框。但是这样的处理会存在一些问题，一个问题是雷达检测并不总是映射到每个图像中检测到的对象的中心。另一个问题是，雷达不提供关于检测到的物体的大小的任何信息。为解决这些问题，论文中采取了不同大小和不同比例的候选框且候选框在POI不同位置的策略，如下图所示：【其实这里就基本和fastet-RCNN类似】
- 距离补偿
每个物体与车辆的距离在确定其在图像中的尺寸方面起着重要作用。通常，图像中物体的大小与其与相机的距离成反比关系。雷达检测具有每个检测到的物体的距离信息，在此步骤中用于缩放所有生成的锚点。我们使用以下公式来确定要在锚点上使用的缩放因子:
实验结果
实验中使用两种不同的骨干网络，一个是ResNet-101(后文简称R101)，一个是ResNext-101(后文称X101)，且设置了两个数据集，如下：
| 第一个子集 | 第二个子集 |
| NS-F | NS-FB |
| 包含前置摄像头和前置雷达 | 包含后置摄像头和两个后置雷达 |
| 共有23k个样本 | 共有45k个样本 |
从上图可以看出，实验RRPN网络的检测精度要比使用SS算法高，此外在实验中，RRPN 能够每秒 处理70 到 90 张图像，而选择性搜索算法每张图像需要 2-7 秒，也就是说使用RRPN网络可以大大提高网络的速度。
论文下载
下载地址：https://arxiv.org/pdf/1905.00526.pdf
