估计手部与物体的操控对于解释和模仿人类行为至关重要。先前的研究在单独重建手部姿态和物体形状方面已经取得了显著进展。然而，在操控过程中同时重建手部和物体是一项更具挑战性的任务，因为手部和物体会出现严重的遮挡现象。尽管存在这些挑战，操控过程也可能简化问题，因为接触的物理规律限制了有效的手-物体配置空间。例如，在操控过程中，手部和物体应当接触但不能相互穿透。在这项工作中，我们通过引入操控约束来规范手部与物体的联合重建。我们提出了一种端到端可学习的模型，该模型利用一种新颖的接触损失函数，倾向于生成物理上合理的手-物体组合。我们的方法在使用RGB图像作为输入时，提高了抓握质量指标。为了训练和评估该模型，我们还提出了一种新的大规模合成数据集ObMan（Hand-Object Manipulations），其中包含手部与物体的操控数据。我们展示了经过ObMan训练的模型在真实数据上的可迁移性。