Hao Shi Chengshan Pang Jiaming Zhang Kailun Yang Yuhao Wu Huajian Ni Yining Lin Rainer Stiefelhagen Kaiwei Wang

摘要

基于路侧摄像头的3D目标检测是智能交通系统中的关键任务，能够突破视觉中心化车辆感知范围的局限，显著提升道路安全水平。尽管以往研究多仅依赖深度或高度信息，我们发现深度与高度均至关重要，且二者具有实质性的互补性：深度特征蕴含精确的几何线索，而高度特征则主要用于区分不同高度区间的类别，本质上提供了语义上下文信息。这一洞察推动了新型端到端单目3D目标检测框架——互补鸟瞰图（Complementary-BEV, CoBEV）的提出。CoBEV通过融合深度与高度信息，构建鲁棒的鸟瞰图（BEV）表征。具体而言，CoBEV估计每个像素的深度与高度分布，并利用新提出的两阶段互补特征选择（Complementary Feature Selection, CFS）模块，将相机特征提升至三维空间并进行横向融合。此外，系统还无缝集成了BEV特征蒸馏框架，借助融合模态的CoBEV教师模型所蕴含的先验知识，进一步提升检测精度。我们在基于路侧摄像头的公开3D检测基准数据集DAIR-V2X-I和Rope3D，以及私有数据集Supremind-Road上开展了大量实验。结果表明，CoBEV不仅达到了当前最先进的检测精度，还在长距离复杂场景及受噪声干扰的摄像头条件下显著提升了以往方法的鲁棒性，同时在场景与相机参数发生剧烈变化的异构设置下，实现了检测性能的大幅泛化能力提升。尤为值得一提的是，这是首次在DAIR-V2X-I数据集上，基于摄像头模型的车辆目标检测平均精度（AP）在“易”模式下突破80%。相关源代码将公开发布于：https://github.com/MasterHow/CoBEV。