Tianheng Cheng; Lin Song; Yixiao Ge; Wenyu Liu; Xinggang Wang; Ying Shan

摘要

“仅看一次”（YOLO）系列检测器已确立了其高效且实用的工具地位。然而，它们对预定义和训练对象类别的依赖限制了在开放场景中的应用。为了解决这一局限性，我们引入了YOLO-World，这是一种创新方法，通过视觉-语言建模和大规模数据集上的预训练，增强了YOLO的开放词汇检测能力。具体而言，我们提出了一种新的可重新参数化的视觉-语言路径聚合网络（RepVL-PAN）和区域-文本对比损失，以促进视觉信息和语言信息之间的交互。我们的方法在零样本情况下能够高效地检测广泛种类的对象，并表现出色。在具有挑战性的LVIS数据集上，YOLO-World在V100上实现了35.4的平均精度（AP）和52.0帧每秒（FPS），在准确性和速度方面均优于许多现有最先进方法。此外，经过微调的YOLO-World在多个下游任务中也取得了显著性能，包括对象检测和开放词汇实例分割。