Kang Taeho ; Lee Youngki

摘要

我们介绍了EgoTAP，这是一种用于高精度立体第一人称3D姿态估计的热图到3D姿态提升方法。在第一人称摄像机视图中，严重的自遮挡和视野外的肢体使得精确的姿态估计成为一个具有挑战性的问题。为了解决这一难题，先前的方法采用了关节热图——即身体姿态的概率2D表示，但热图到3D姿态的转换过程仍然不够准确。我们提出了一种新颖的热图到3D提升方法，该方法由Grid ViT编码器和传播网络组成。Grid ViT编码器通过自注意力机制将关节热图总结为有效的特征嵌入。随后，传播网络利用骨骼信息来更好地估计被遮挡关节的位置，从而实现3D姿态的估计。我们的方法在定性和定量上显著优于之前的方法，这一点通过MPJPE指标误差减少23.9%得到了验证。我们的源代码已在GitHub上发布。