HyperAIHyperAI

Command Palette

Search for a command to run...

关键词Transformer:一种用于关键词检测的自注意力模型

Axel Berg Mark O&#39 Connor Miguel Tairum Cruz

摘要

Transformer架构已在多个领域取得成功,涵盖自然语言处理、计算机视觉以及语音识别等。在关键词检测任务中,自注意力机制通常被置于卷积或循环编码器之上。本文系统研究了多种将Transformer架构适配至关键词检测的方法,并提出了一种全新的全自注意力架构——关键词Transformer(Keyword Transformer, KWT)。该模型在无需预训练或额外数据的情况下,便在多个任务上超越了当前最优性能。令人惊讶的是,这一简洁的架构在性能上优于那些融合了卷积、循环与注意力机制的复杂模型。KWT可作为现有模型的即插即用替代方案,在Google语音命令数据集上创造了两项新纪录:在12类和35类关键词检测任务中,准确率分别达到98.6%和97.7%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供