Xiaoyu Xiang; Ding Liu; Xiao Yang; Yiheng Zhu; Xiaohui Shen; Jan P. Allebach

摘要

在本文中，我们探讨了开放领域的草图到照片翻译问题，其目标是从自由手绘草图及其类别标签合成逼真的照片，即使该类别的草图在训练数据中缺失。由于缺乏训练监督以及自由手绘草图与照片领域之间存在较大的几何失真，这一任务极具挑战性。为了从照片中合成缺失的自由手绘草图，我们提出了一种框架，该框架联合学习草图到照片和照片到草图的生成。然而，从虚假草图训练的生成器在处理缺失类别的草图时可能会导致不满意的结果，因为合成草图与真实草图之间存在领域差距。为了解决这一问题，我们进一步提出了一种简单而有效的开放领域采样和优化策略，以“欺骗”生成器使其将虚假草图视为真实草图。我们的方法利用了域内数据学到的草图到照片和照片到草图的映射，并将其推广到开放领域的类别。我们在Scribble和SketchyCOCO数据集上验证了我们的方法。与最近的竞争方法相比，我们的方法在合成逼真的颜色、纹理以及保持各种开放领域草图的几何构型方面表现出令人印象深刻的结果。我们的代码可在https://github.com/Mukosame/AODA 获取。