HyperAIHyperAI

Command Palette

Search for a command to run...

Restormer:高效的 Transformer 模型用于高分辨率图像修复

Zamir Syed Waqas ; Arora Aditya ; Khan Salman ; Hayat Munawar ; Khan Fahad Shahbaz ; Yang Ming-Hsuan

摘要

由于卷积神经网络(CNNs)在从大规模数据中学习可泛化的图像先验方面表现出色,这些模型已被广泛应用于图像恢复及相关任务。近期,另一种神经架构——Transformer,在自然语言处理和高级视觉任务中展现出显著的性能提升。虽然Transformer模型缓解了CNNs的局限性(即有限的感受野和对输入内容的适应性不足),但其计算复杂度随空间分辨率呈二次增长,因此将其应用于涉及高分辨率图像的大多数图像恢复任务变得不可行。在本研究中,我们通过在构建模块(多头注意力机制和前馈网络)中进行若干关键设计,提出了一种高效的Transformer模型,使其能够在捕捉长距离像素交互的同时,仍然适用于大尺寸图像。我们提出的模型命名为Restoration Transformer(Restormer),在多个图像恢复任务上取得了最先进的结果,包括图像去雨、单幅图像运动去模糊、散焦去模糊(单幅图像和双像素数据)以及图像去噪(高斯灰度/彩色去噪和真实图像去噪)。源代码和预训练模型可在https://github.com/swz30/Restormer 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供