HyperAIHyperAI

Command Palette

Search for a command to run...

基于形变流的双流网络用于唇读

Jingyun Xiao Shuang Yang Yuanhang Zhang Shiguang Shan Xilin Chen

摘要

唇读是指通过分析说话过程中唇部区域的运动来识别语音内容的任务。鉴于说话过程中相邻帧之间的连续性,以及不同说话者在发出相同音素时运动模式的一致性,我们将说话过程中的唇部运动建模为唇部区域的一系列表观形变序列。具体而言,我们提出一种形变流网络(Deformation Flow Network, DFN),用于学习相邻帧之间的形变流,从而直接捕捉唇部区域内的运动信息。随后,将学习得到的形变流与原始灰度帧结合,通过双流网络进行唇读。与以往的双流网络不同,我们引入双向知识蒸馏损失,使两个分支在训练过程中能够相互学习,实现联合优化。得益于两个分支提供的互补线索,该双流网络在性能上显著优于仅使用单一分支的模型。我们在两个大规模唇读基准数据集上进行了全面的实验评估,并进行了详细分析。实验结果验证了我们的设计动机,表明所提方法在两个具有挑战性的数据集上均达到了当前最优或具有竞争力的性能水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供