HyperAIHyperAI

Command Palette

Search for a command to run...

Video Mamba 套件:状态空间模型作为视频理解的通用替代方案

Guo Chen Yifei Huang Jilan Xu Baoqi Pei Zhe Chen Zhiqi Li Jiahao Wang Kunchang Li Tong Lu Limin Wang

摘要

理解视频是计算机视觉研究中的基础性方向之一,学界长期以来致力于探索多种网络架构,包括循环神经网络(RNN)、三维卷积神经网络(3D CNN)以及Transformer等。近期提出的状态空间模型(State Space Model, SSM)架构,例如Mamba,展现出在长序列建模任务中取得成功后,有望将其优势拓展至视频建模领域的潜力。为评估Mamba是否可作为Transformer在视频理解领域的一种可行替代方案,本文开展了一系列系统性研究,深入探究Mamba在视频建模中可能扮演的不同角色,并考察其在多种任务中展现性能优势的可能性。我们基于Mamba在视频建模中的功能定位,将其划分为四种角色,并据此构建了一个包含14个模型/模块的Video Mamba Suite,进而在12项视频理解任务上进行全面评估。大量实验结果表明,Mamba在纯视频任务及视频-语言联合任务中均展现出强劲的潜力,同时在效率与性能之间呈现出极具前景的平衡关系。我们期望本研究能为未来视频理解领域的探索提供有价值的参考数据与深入洞见。项目代码已开源:https://github.com/OpenGVLab/video-mamba-suite


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供