Fang Hao-Shu ; Lu Guansong ; Fang Xiaolin ; Xie Jianwen ; Tai Yu-Wing ; Lu Cewu

摘要

人体部位解析，或人体语义部分分割，是许多计算机视觉任务的基础。在传统的语义分割方法中，提供的是真实分割标签，全卷积网络（FCN）以端到端的方式进行训练。尽管这些方法已经展示了令人印象深刻的结果，但它们的性能高度依赖于训练数据的数量和质量。在本文中，我们提出了一种新颖的方法，利用容易获取的人体关键点注释生成合成的人体部位分割数据。我们的核心思想是利用人体之间的解剖学相似性，将一个人的解析结果转移到具有类似姿势的另一个人身上。通过将这些估计结果作为额外的训练数据，我们的半监督模型在PASCAL-Person-Part数据集上的表现比其强监督模型提高了6个百分点的mIOU，并且我们达到了当前最先进的解析效果。我们的方法具有普遍性，可以轻松扩展到其他对象或动物的解析任务中，前提是它们的解剖学相似性可以通过关键点进行注释。所提出的模型及其配套源代码可在https://github.com/MVIG-SJTU/WSHP 获取。