Kevin Lin Lijuan Wang Zicheng Liu

摘要

我们提出了一种基于图卷积增强的Transformer模型——Mesh Graphormer，用于从单张图像中实现3D人体姿态与网格重建。近年来，Transformer与图卷积神经网络（GCNN）在人体网格重建任务中均取得了显著进展。基于Transformer的方法在建模3D网格顶点与身体关节之间的非局部交互方面表现出色，而GCNN则擅长利用预定义的网格拓扑结构来捕捉邻域顶点间的局部交互关系。本文旨在探索如何在Transformer架构中融合图卷积与自注意力机制，以同时建模局部与全局交互信息。实验结果表明，所提出的Mesh Graphormer方法在多个基准数据集（包括Human3.6M、3DPW和FreiHAND）上显著优于此前的最先进方法。代码与预训练模型已开源，获取地址为：https://github.com/microsoft/MeshGraphormer。