Sangwoo Mo; Minsu Cho; Jinwoo Shin

摘要

无监督图像到图像的转换由于基于生成对抗网络（GANs）的近期显著进展而受到了广泛关注。然而，先前的方法在处理具有挑战性的案例时往往失败，特别是在图像包含多个目标实例且翻译任务涉及形状的重大变化时，例如将时尚图片中的裤子转换为裙子。为了解决这些问题，我们提出了一种新颖的方法，称为实例感知生成对抗网络（Instance-aware GAN，简称InstaGAN），该方法结合了实例信息（如物体分割掩码），并改进了多实例变形。所提出的方法在保持实例排列不变性的前提下，同时转换图像及其对应的实例属性集。为此，我们引入了一种上下文保持损失函数，鼓励网络在目标实例之外学习恒等函数。此外，我们还提出了一种顺序小批量推理/训练技术，该技术能够在有限的GPU内存下处理多个实例，并增强网络对多个实例的泛化能力。我们的对比评估表明，所提出的这种方法在不同的图像数据集上表现出有效性，尤其是在上述具有挑战性的案例中。代码和结果可在https://github.com/sangwoomo/instagan 获取。