前言
先来看看题目的中文解释叭，即在自动驾驶环境中使用CNN-Based融合视觉和激光雷达进行物体分类。我们常见的物体分类算法大多是纯视觉的，那么今天我分享的文章呢，是融合了视觉和激光雷达传感器进行物体分类。写此文章也是最近刚好一门课上要求阅读两篇论文进行讲解，恰巧遇此活动，于是在此记录下来📝📝📝
这篇论文是18年SCI一区的一篇论文，对于刚刚接触传感器融合的同学来说我认为还是很友好的，可以很容易的理解传感器融合的大致思想。
论文
背景
如今自动驾驶可以说是很火的一个方向了，关注度越来越高。这也是因为自动驾驶车辆的安全性和性能、交通效率和节能方面展现了巨大潜力。同时，社会层面也推出了各式各样的挑战赛和项目，如智能汽车未来挑战赛”、谷歌的自动驾驶汽车等，这些都极大的推动了自动驾驶的发展。
论文中先是提到了自动驾驶应该具有怎样的性能，然后提出目前物体分类的两种主流方法，然后总结了纯视觉方案和纯激光雷达方案的局限性，进而提出将视觉传感器和激光雷达融合的方案。
系统架构✨✨✨
本论文使用的车是猛士，其硬件的的系统架构和各传感器的相关参数如下：
核心思想✨✨✨
这篇文章的核心思想也比较容易理解，就是我们将得到的激光雷达点云数据先转换成稀疏的深度图【这里可能需要一些四系坐标转换的知识】】，之后再通过双边滤波上采样得到稠密的深度图【滤波就可以看作一个卷积操作】，最后的会将得到的深度图喂到AlexNet网络中。【对此网络不清楚的戳☞了解详情】核心思想的图示如下：
实验结果✨✨✨
下图左图显示了使用 RGB-LIDAR 和 RGB 方法在不同迭代下训练数据集的平均每秒帧数 (FPS)RGB-LIDAR的平均 FPS 从 100 次迭代持续下降到 3000 次迭代，并在 3000 次后趋于平稳。这些值发生了很大变化，使用 RGB-LIDAR 方法最终达到了大约 110 FPS，使用 RGB 方法，这些值最终大约 达到了120 FPS，其实这两个是相差不多的。再来看右表，它提供了基于 RGB-LIDAR 方法的分类预测结果的混淆矩阵。主对角线上的值是正确分类项目的百分比，其余是未分类项目和对应的错误百分比。我们发现主要错误发生在“其他”被归类为“卡车”，而“卡车”被归类为“其他”上。我们认为这两个类对象在当前数据集中非常相似，因为它们的背景也非常相似。
下图第一行三个图显示相应的平均精度。所有曲线都显示出相似的趋势，并且平均准确度在大约 1000 次迭代后趋于稳定。然而，带有 RGB-LIDAR 的效果一直表现更好。尤其是在使用小集合（400 张图像）进行训练时，使用所提出的方法，随着提供的信息深度的增加，当训练迭代次数达到 1000 以上时，多传感器 RGB-LIDAR 数据显示出比纯 RGB 数据高约 5% 的精度。
下图第二行列出了数据集组合的相应平均损失。 随着迭代次数的增加，平均损失不断下降。 当数据集为400张图像时并且使用高于 500 的迭代次数以及，AlexNet 的损失降至零。 多传感器 RGB-LIDAR 始终比 RGB 训练集更快地收敛。
在 KITTI 基准数据集上的实验结果表明，与基于 RGB 的单一模型相比，RGB-LIDAR 数据可以达到更低的损失和更高的平均精度。最终分类器的平均准确率可以达到最大值 96%。这意味着，通过附加的高级 LIDAR 功能，我们可以提高分类器的准确率。
论文下载
下载地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8331162🥗🥗🥗
