Moon Gyeongsik ; Nam Hyeongjin ; Shiratori Takaaki ; Lee Kyoung Mu

摘要

尽管在三维着装人体重建方面已经取得了很大进展，但大多数现有方法仍无法从野外图像中生成稳健的结果，这些图像包含多样的人体姿态和外观。这主要是由于训练数据集与野外数据集之间存在较大的领域差距。训练数据集通常是合成数据集，其中包含来自地面真实（GT）3D扫描的渲染图像。然而，与真实的野外数据集相比，这类数据集中的人体姿态较为简单，图像外观也不够自然，这使得将其泛化到野外图像上极具挑战性。为了解决这一问题，本文提出了一种名为ClothWild的三维着装人体重建框架，首次解决了在野外图像上的稳健性问题。首先，为了提高对领域差距的鲁棒性，我们提出了一种弱监督管道，该管道可以使用野外数据集的2D监督目标进行训练。其次，我们设计了一种基于DensePose的损失函数，以减少弱监督中的模糊性。我们在多个公开的野外数据集上进行了广泛的实证测试，结果表明所提出的ClothWild比最先进的方法产生了更准确和稳健的结果。代码可在以下链接获取：https://github.com/hygenie1228/ClothWild_RELEASE。