HyperAIHyperAI

Command Palette

Search for a command to run...

面向真实感生成式3D人脸模型

Aashish Rai Hiresh Gupta Ayush Pandey Francisco Vicente Carrasco Shingo Jason Takagi Amaury Aubel Daeil Kim Aayush Prakash Fernando de la Torre

摘要

近年来,得益于动画制作、合成数据生成以及数字虚拟人等应用的推动,二维生成式人脸模型取得了显著进展。然而,由于缺乏三维信息,这类二维模型在准确解耦姿态、表情和光照等人脸属性方面仍存在困难,从而限制了其编辑能力。为解决这一局限性,本文提出了一种可控制的三维生成式人脸模型,该模型通过利用现有的二维生成式模型,能够生成高质量的反照率(albedo)图像和精确的三维形状。通过将二维人脸生成模型与语义人脸编辑技术相结合,该方法实现了对细节丰富的三维渲染人脸的高效编辑。所提出的框架采用形状与反照率交替优化的下降策略,并借助可微分渲染技术,在无需三维监督的情况下训练出高质量的三维形状与反照率。实验结果表明,该方法在著名的NoW三维形状重建基准测试中优于当前最先进的(SOTA)方法。此外,在跨新姿态的渲染人脸身份恢复任务中,其表现也比现有SOTA重建模型平均提升10%。更重要的是,本文还展示了通过挖掘潜在空间实现对三维人脸表情的直接控制,从而支持基于文本的三维人脸编辑,进一步拓展了生成式人脸模型的应用潜力。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供