HyperAIHyperAI

Command Palette

Search for a command to run...

基于跨模态迁移在自然环境中的语音情感识别

Samuel Albanie Arsha Nagrani Andrea Vedaldi Andrew Zisserman

摘要

获取大规模、人工标注的语音数据集以训练情感识别模型是一项众所周知的艰巨任务,受到标注成本高和标签模糊性的阻碍。在本研究中,我们探讨了在没有任何形式的标注音频的情况下学习语音分类嵌入的任务。我们的方法基于一个简单的假设:即语音的情感内容与说话人的面部表情相关。通过利用这种关系,我们展示了可以通过跨模态蒸馏将表情注释从视觉域(面部)转移到语音域(声音)。我们做出了以下贡献:(i) 开发了一个强大的面部情感识别教师网络,在标准基准测试中达到了当前最佳水平;(ii) 利用该教师网络从零开始训练一个学生网络,以学习无需标注音频数据的语音情感识别表示(嵌入);(iii) 展示了所学的语音情感嵌入可以在外部基准数据集上用于语音情感识别。代码、模型和数据均可获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供