HyperAIHyperAI

Command Palette

Search for a command to run...

基于深度度量学习的弱监督时间动作定位

Ashraful Islam Richard J. Radke

摘要

时间动作定位是实现视频理解的重要步骤。目前大多数动作定位方法依赖于未剪辑视频,并需要对动作实例进行完整的时序标注。然而,对视频的动作标签及时间边界进行标注成本高昂且耗时。为此,我们提出一种弱监督时间动作定位方法,仅需在训练阶段使用视频级别的动作实例作为监督信号。我们设计了一个分类模块,用于为视频中的每个片段生成动作标签,同时引入一个深度度量学习模块,以学习不同动作实例之间的相似性。通过标准的反向传播算法,联合优化平衡的二元交叉熵损失与度量损失。大量实验表明,这两个模块在时间定位任务中均具有显著有效性。我们在两个具有挑战性的未剪辑视频数据集——THUMOS14 和 ActivityNet1.2 上对所提算法进行了评估。实验结果表明,我们的方法在 THUMOS14 数据集上将当前最先进方法的 mAP 提升了 6.5%(IoU 阈值为 0.5),并在 ActivityNet1.2 数据集上取得了具有竞争力的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供