AJ Piergiovanni Kairo Morton Weicheng Kuo Michael S. Ryoo Anelia Angelova

摘要

视频问答是一项具有挑战性的任务，需要同时理解语言输入、视频帧中的视觉信息以及视频中事件发生的时序信息。本文提出了一种新型的多流视频编码器，用于视频问答任务。该方法采用多路视频输入，并引入一种新颖的视频-文本迭代联合分词（co-tokenization）策略，以有效回答与视频相关的各类问题。我们在多个数据集上对模型进行了实验评估，包括MSRVTT-QA、MSVD-QA和IVQA，结果表明，该模型在各项指标上均显著超越了先前的最先进方法。同时，模型的计算复杂度大幅降低，所需GFLOPs从原先的150–360降至仅67，显著提升了计算效率，构建了一个高效且性能优越的视频问答模型。