HyperAIHyperAI

Command Palette

Search for a command to run...

TriDet:基于相对边界建模的时序动作检测

Dingfeng Shi Yujie Zhong Qiong Cao Lin Ma Jia Li Dacheng Tao

摘要

本文提出了一种单阶段时序动作检测框架TriDet。现有方法通常因视频中动作边界的模糊性而导致边界预测不准确。为缓解这一问题,我们提出了一种新颖的三叉头结构(Trident-head),通过建模边界附近的相对概率分布来更精确地刻画动作边界。在TriDet的特征金字塔中,我们设计了一种高效的可扩展粒度感知(Scalable-Granularity Perception, SGP)模块,以缓解视频特征中自注意力机制引发的排序损失问题,并实现跨不同时间粒度的信息融合。得益于Trident-head结构与基于SGP的特征金字塔设计,TriDet在三个具有挑战性的基准数据集(THUMOS14、HACS和EPIC-KITCHENS 100)上均取得了当前最优的检测性能,同时计算开销显著低于以往方法。例如,在THUMOS14数据集上,TriDet实现了69.3%的平均mAP,较此前最优方法提升2.5%,且仅需其74.6%的推理延迟。代码已开源,地址为:https://github.com/sssste/TriDet


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供