HyperAIHyperAI

Command Palette

Search for a command to run...

EMOCA:情感驱动的单目人脸捕捉与动画

Radek Danecek Michael J. Black Timo Bolkart

摘要

随着三维人脸虚拟形象在通信中的广泛应用,准确传达情绪变得至关重要。然而,当前最先进的从单目图像回归参数化三维人脸模型的方法,仍难以捕捉面部表情的完整谱系,尤其是细微或极端情绪。我们发现,用于训练的标准重建指标(如关键点重投影误差、光度误差和人脸识别损失)不足以刻画高保真度的表情。其结果是,重建出的面部几何形态与输入图像所呈现的情绪内容不匹配。为此,我们提出了EMOCA(EMOtion Capture and Animation),通过在训练过程中引入一种新颖的深度感知情绪一致性损失(deep perceptual emotion consistency loss),有效确保重建的三维表情与输入图像中的表情一致。尽管EMOCA在三维重建误差方面与当前最优方法相当,但在重建表情的质量以及感知到的情绪内容方面,显著优于现有方法。此外,我们直接从估计的三维人脸参数中回归情绪的效价(valence)与唤醒度(arousal)水平,并对基本情绪类别进行分类。在真实场景下情绪识别任务中,我们的纯几何方法性能与最先进的基于图像的方法相当,凸显了三维几何信息在分析人类行为中的重要价值。相关模型与代码已公开发布,访问地址为:https://emoca.is.tue.mpg.de


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供