摘要

作为三维面部形状和纹理的经典统计模型，三维可变形模型（3DMM）在面部分析中得到了广泛应用，例如模型拟合、图像合成等。传统的3DMM是从一组控制良好的2D面部图像及其对应的3D面部扫描数据中学习得到的，并通过两组主成分分析（PCA）基函数来表示。由于训练数据的类型和数量以及线性基函数的限制，3DMM的表示能力可能受到局限。为了解决这些问题，本文提出了一种创新框架，用于从大量无约束的面部图像中学习非线性的3DMM模型，而无需收集3D面部扫描数据。具体而言，给定一张面部图像作为输入，网络编码器估计投影参数、形状参数和纹理参数。两个解码器分别作为非线性3DMM，将形状参数和纹理参数映射到三维形状和纹理。利用投影参数、三维形状和纹理，设计了一个新颖的解析可微渲染层以重建原始输入的面部图像。整个网络仅需弱监督即可实现端到端训练。我们展示了我们的非线性3DMM相比其线性版本具有更强的表示能力，并且对人脸对齐和三维重建做出了贡献。