Command Palette

Search for a command to run...

3 个月前

UniDet3D:多数据集室内3D目标检测

Maksim Kolodiazhnyi Anna Vorontsova Matvey Skripkin Danila Rukhovich Anton Konushin

UniDet3D:多数据集室内3D目标检测

摘要

随着客户对机器人与增强现实领域智能解决方案需求的持续增长,基于点云的三维物体检测受到了广泛关注。然而,现有的独立室内数据集规模普遍较小,且多样性不足,难以训练出具备强大泛化能力的三维物体检测模型。与此同时,尽管基于基础模型的通用方法在一定程度上提升了模型的适应性,其性能仍显著逊色于针对特定任务采用监督学习训练的模型。针对这一问题,本文提出一种简单而高效的三维物体检测模型——UniDet3D。该模型在多个室内数据集的混合数据上进行训练,能够适应多种不同的室内环境。通过统一不同数据集的标签空间,UniDet3D 采用监督联合训练策略,有效学习跨多个数据集的强表征能力。所提出的网络架构基于标准的 Transformer 编码器构建,具有部署简便、易于定制与扩展的优点,适用于实际应用场景。大量实验表明,在6个主流室内三维检测基准上,UniDet3D 均取得了显著提升:ScanNet(mAP50 提升1.1)、ARKitScenes(mAP25 提升19.4)、S3DIS(mAP50 提升9.1)、MultiScan(mAP50 提升9.3)、3RScan(mAP50 提升3.2)以及 ScanNet++(mAP50 提升2.7)。相关代码已开源,地址为:https://github.com/filapro/unidet3d。

代码仓库

filapro/unidet3d
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-object-detection-on-3rscanUniDet3D
mAP@0.25: 64.7
mAP@0.5: 48.6
3d-object-detection-on-arkitscenesUniDet3D
mAP@0.25: 61.3
mAP@0.5: 47.1
3d-object-detection-on-multiscanUniDet3D
mAP@0.25: 64.2
mAP@0.5: 51.6
3d-object-detection-on-s3disUniDet3D
mAP@0.25: 75.2
mAP@0.5: 60.8
3d-object-detection-on-scannet-1UniDet3D
mAP@0.25: 26.4
mAP@0.5: 17.2
3d-object-detection-on-scannetv2UniDet3D
mAP@0.25: 77.5
mAP@0.5: 66.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供