在人体-物体交互（Human-Object Interaction, HOI）识别中，传统方法通常将人体视为一个整体，并对整个身体区域给予均匀的关注。然而，这些方法忽略了人类通常是通过身体的某些部分与物体进行互动的事实。本文认为，在HOI识别中，不同的身体部位应该受到不同程度的关注，并且应当进一步考虑不同身体部位之间的关联性，因为我们的身体部位总是协同工作的。为此，我们提出了一种新的成对身体部位注意力模型，该模型可以学习关注关键的身体部位及其相互关系。该模型引入了一种基于注意力的特征选择方法和一种能够捕捉不同身体部位之间成对关联性的特征表示方案。我们在HICO数据集上的HOI识别实验表明，所提出的算法相比现有最佳结果提升了4%。我们将公开发布该模型及其源代码。