Yu Rong Takaaki Shiratori Hanbyul Joo

摘要

尽管人类运动的核心语义通常通过身体动作与手势的结合来表达，现有的单目动作捕捉方法大多仅关注身体运动而忽略手部动作，或仅聚焦手部运动而忽视身体运动。本文提出了一种名为FrankMocap的动作捕捉系统，能够从真实环境中的单目视频输入中，以更快的速度（9.5帧/秒）和更高的精度，同时估计三维手部与身体运动。该方法具备近实时性能（9.5 fps），并以统一的参数化模型结构输出三维身体与手部运动结果。FrankMocap旨在从具有挑战性的真实场景单目视频中，同步捕捉三维身体与手部运动。为构建FrankMocap，我们基于全身参数化模型SMPL-X，构建了当前最先进的单目三维“手部”运动捕捉方法。该系统的三维手部运动输出可高效融合至单目身体运动捕捉结果中，从而在统一的参数化模型结构下生成完整的全身运动数据。我们在公开基准测试中验证了所提手部运动捕捉系统的领先性能，并在多种复杂真实场景中展示了其全身运动捕捉结果的高质量表现，包括实际应用的实时演示场景。