Vishwanath A. Sindagi; Yin Zhou; Oncel Tuzel

摘要

近期许多关于三维物体检测的研究工作都集中在设计能够处理点云数据的神经网络架构上。尽管这些方法展示了令人鼓舞的性能，但它们通常基于单一模态，无法利用其他模态（如相机）提供的信息。虽然有少数方法融合了不同模态的数据，但这些方法要么采用复杂的流水线依次处理各模态数据，要么进行后期融合，无法在早期阶段学习不同模态之间的交互。在本研究中，我们提出了两种简单而有效的早期融合方法——PointFusion和VoxelFusion，通过利用最近引入的VoxelNet架构来结合RGB图像和点云数据。在KITTI数据集上的评估表明，这两种方法相比仅使用点云数据的方法显著提升了性能。此外，所提出的方法在六个鸟瞰图和三维检测类别中的五个类别中取得了排名第二的成绩，其结果与最先进的多模态算法具有竞争力，并且采用了简单的单阶段网络。