摘要

基础模型在计算机视觉领域的各种下游任务中最近表现出色。然而，现有的大多数视觉基础模型仅关注图像级别的预训练和适应，这在动态和复杂的视频级别理解任务中存在局限性。为填补这一空白，我们提出了通用视频基础模型——InternVideo，该模型结合了生成式和判别式自监督视频学习的优势。具体而言，InternVideo高效地探索了掩码视频建模和视频-语言对比学习作为预训练目标，并以可学习的方式有选择地协调这两种互补框架的视频表示，以提升多种视频应用的性能。无需复杂的附加组件，InternVideo在涵盖视频动作识别/检测、视频-语言对齐以及开放世界视频应用等广泛任务的39个视频数据集上取得了最先进的性能。特别是，我们的方法在具有挑战性的Kinetics-400和Something-Something V2基准测试中分别获得了91.1%和77.2%的Top-1准确率。所有这些结果都有效证明了我们的InternVideo在视频理解方面的通用性。代码将在https://github.com/OpenGVLab/InternVideo 上发布。