Command Palette
Search for a command to run...
关键词Transformer:一种用于关键词检测的自注意力模型
关键词Transformer:一种用于关键词检测的自注意力模型
Axel Berg Mark O' Connor Miguel Tairum Cruz
摘要
Transformer架构已在多个领域取得成功,涵盖自然语言处理、计算机视觉以及语音识别等。在关键词检测任务中,自注意力机制通常被置于卷积或循环编码器之上。本文系统研究了多种将Transformer架构适配至关键词检测的方法,并提出了一种全新的全自注意力架构——关键词Transformer(Keyword Transformer, KWT)。该模型在无需预训练或额外数据的情况下,便在多个任务上超越了当前最优性能。令人惊讶的是,这一简洁的架构在性能上优于那些融合了卷积、循环与注意力机制的复杂模型。KWT可作为现有模型的即插即用替代方案,在Google语音命令数据集上创造了两项新纪录:在12类和35类关键词检测任务中,准确率分别达到98.6%和97.7%。