HyperAIHyperAI

Command Palette

Search for a command to run...

基于门控卷积的自由形式图像修复

Jiahui Yu Zhe Lin Jimei Yang Xiaohui Shen Xin Lu Thomas Huang

摘要

我们提出了一种生成式图像修复系统,用于完成带有自由形状掩模和指导的图像。该系统基于数百万张图像上的门控卷积学习,无需额外的标注工作。所提出的门控卷积解决了传统卷积将所有输入像素视为有效像素的问题,通过在所有层的每个空间位置为每个通道提供可学习的动态特征选择机制,扩展了部分卷积的功能。此外,由于自由形状掩模可以在图像中的任何位置以任意形状出现,因此专为单个矩形掩模设计的全局和局部生成对抗网络(GAN)并不适用。为此,我们还提出了一种基于补丁的 GAN 损失函数,称为 SN-PatchGAN,通过在密集图像块上应用谱归一化判别器实现。SN-PatchGAN 在公式上简单,在训练过程中快速且稳定。自动图像修复和用户引导扩展的结果表明,我们的系统生成的质量更高、灵活性更强的结果优于以往的方法。我们的系统帮助用户快速移除干扰物体、修改图像布局、清除水印和编辑人脸。代码、演示和模型可在以下链接获取:https://github.com/JiahuiYu/generative_inpainting


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供