TAPIP3D：在持久的3D几何结构中追踪任意点

我们介绍了一种名为TAPIP3D的新方法，用于在单目RGB和RGB-D视频中进行长期的3D点跟踪。TAPIP3D将视频表示为相机稳定化的时空特征云，利用深度信息和相机运动信息将2D视频特征提升到一个3D世界空间，在这个空间中相机的运动被有效抵消。TAPIP3D在这一稳定化的表示中迭代优化多帧的3D运动估计，从而实现长时间的稳健跟踪。为了处理3D点分布固有的不规则性，我们提出了一种局部配对注意力机制。这种3D上下文策略有效地利用了空间中的三维关系，形成了具有信息量的特征邻域，以实现精确的3D轨迹估计。我们的以3D为中心的方法显著优于现有的3D点跟踪方法，并且在有准确深度信息的情况下，甚至比传统的2D像素跟踪器提高了2D跟踪精度。该方法支持在相机坐标（即未稳定化）和世界坐标中的推断，并且我们的结果显示补偿相机运动可以改善跟踪性能。我们的方法取代了先前2D和3D跟踪器中使用的传统2D方形相关邻域，从而在各种3D点跟踪基准测试中取得了更加稳健和准确的结果。项目页面：https://tapip3d.github.io