HyperAIHyperAI

Command Palette

Search for a command to run...

用于全身3D人体网格重建的精准3D手部姿态估计

Gyeongsik Moon Hongsuk Choi Kyoung Mu Lee

摘要

全身三维人体网格重建旨在同时恢复三维人体、双手及面部的几何结构。尽管已有多种方法被提出,但准确预测三维手部(包括三维腕关节和手指)仍面临挑战,主要原因有两个:其一,在预测三维腕关节时,现有方法未充分考虑人体运动学链的结构特性;其二,以往工作在预测三维手指姿态时依赖于人体整体特征,而这些特征中几乎不包含手指的细节信息。为克服上述局限,本文提出Hand4Whole,相较于以往方法具有两大优势。首先,我们设计了Pose2Pose模块,该模块利用关节特征来预测三维关节旋转。通过Pose2Pose,Hand4Whole引入手部掌指关节(MCP)的特征来预测三维腕关节,因为MCP关节在人体运动学链中对腕部三维旋转具有主导作用。其次,Hand4Whole在预测三维手指姿态时摒弃了人体整体特征,转而采用更专用于手指的特征表示,从而提升手指建模的精度。Hand4Whole采用端到端方式训练,其生成的三维手部结果显著优于现有的全身三维人体网格重建方法。相关代码已开源,可访问 https://github.com/mks0601/Hand4Whole_RELEASE 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供