{Joni Dambre Mieke Van Herreweghe Mathieu De Coster}

摘要

自动手语识别位于自然语言处理（NLP）与计算机视觉的交叉领域。基于多头注意力机制的Transformer架构起源于自然语言处理领域，并在众多任务中取得显著成功。视频Transformer网络（Video Transformer Network, VTN）是该思想在视频理解任务中的延伸，例如动作识别。然而，由于可用于训练自动手语识别系统的标注数据通常十分有限，VTN在该领域难以充分发挥其潜力。为此，本文通过自动从手语视频中预提取有用信息，有效缓解了数据量不足的问题。在所提出的方法中，采用多模态设置向VTN输入多种类型的信息：包括由OpenPose提取的每帧人体关键点（用于捕捉身体动作），以及手部区域裁剪图像（用于捕捉手部形状及其动态变化）。我们在近期发布的AUTSL孤立手语识别数据集上对方法进行了评估，仅使用RGB图像即取得了92.92%的测试集准确率。相比之下，未引入手部裁剪图像与姿态流（pose flow）信息的原始VTN架构仅达到82%的准确率。对模型的定性分析表明，多模态多头注意力机制在手语识别任务中具有进一步挖掘的潜力。