Chengqi Lyu Wenwei Zhang Haian Huang Yue Zhou Yudong Wang Yanyi Liu Shilong Zhang Kai Chen

摘要
在本文中,我们旨在设计一种高效的实时目标检测器,其性能超越YOLO系列,并且易于扩展到多种目标识别任务,如实例分割和旋转目标检测。为了获得更高效模型架构,我们探索了一种在主干网络和颈部具有兼容容量的架构,该架构由包含大核深度卷积的基本构建块组成。此外,我们在动态标签分配计算匹配成本时引入了软标签以提高精度。结合更好的训练技术,所得到的目标检测器命名为RTMDet,在NVIDIA 3090 GPU上实现了超过300帧每秒(FPS)的52.8% COCO平均精度(AP),优于当前主流的工业级检测器。RTMDet在不同应用场景下通过微小/小型/中型/大型/超大型模型尺寸实现了最佳的参数-精度权衡,并在实时实例分割和旋转目标检测方面取得了新的最先进性能。我们希望实验结果能为设计适用于多种目标识别任务的多功能实时目标检测器提供新的见解。代码和模型已发布在https://github.com/open-mmlab/mmdetection/tree/3.x/configs/rtmdet。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| object-detection-in-aerial-images-on-dota-1-0 | RTMDet-R-l (single scale) | mAP: 80.16% |
| object-detection-in-aerial-images-on-dota-1-0 | RTMDet-R-l | mAP: 81.33% |
| object-detection-in-aerial-images-on-hrsc2016 | RTMDet-R-tiny | mAP-07: 90.6 mAP-12: 97.10 |
| real-time-instance-segmentation-on-mscoco | RTMDet-Ins-l | - |
| real-time-instance-segmentation-on-mscoco | RTMDet-Ins-x | - |
| real-time-instance-segmentation-on-mscoco | RTMDet-Ins-m | - |
| real-time-instance-segmentation-on-mscoco | RTMDet-Ins-s | - |
| real-time-instance-segmentation-on-mscoco-1k | RTMDet-Ins-x | APM: 49.0 |
| real-time-instance-segmentation-on-multi30k | RTMDet-Ins-s | mask AP: 38.7 |
| real-time-object-detection-on-coco | RTMDet | box AP: 52.8 |