Command Palette
Search for a command to run...
退化感知的展开半洗牌Transformer用于光谱压缩成像
退化感知的展开半洗牌Transformer用于光谱压缩成像
Yuanhao Cai Jing Lin Haoqian Wang Xin Yuan Henghui Ding Yulun Zhang Radu Timofte Luc Van Gool
摘要
在编码孔径快照式压缩谱成像(Coded Aperture Snapshot Spectral Compressive Imaging, CASSI)系统中,高光谱图像(Hyperspectral Image, HSI)重建方法被用于从压缩测量中恢复空间-光谱信号。在现有算法中,深度展开(deep unfolding)方法展现出良好的性能,但仍面临两个关键问题:其一,这些方法未能从高度相关的CASSI系统中估计退化模式及病态程度,因而无法有效指导迭代学习过程;其二,现有方法主要基于卷积神经网络(CNN),在捕捉长程依赖关系方面存在局限。本文提出一种原理性的退化感知深度展开框架——退化感知展开框架(Degradation-Aware Unfolding Framework, DAUF),该框架能够从压缩图像和物理掩模中联合估计关键参数,并利用这些参数动态调控每一轮迭代过程。此外,本文设计了一种新型的半混洗Transformer(Half-Shuffle Transformer, HST),可在保持局部细节的同时有效建模非局部依赖关系。通过将HST模块嵌入DAUF框架,我们首次构建了基于Transformer的深度展开方法——退化感知展开半混洗Transformer(Degradation-Aware Unfolding Half-Shuffle Transformer, DAUHST),用于高光谱图像重建。实验结果表明,DAUHST在重建性能上显著优于当前最先进的方法,同时在计算开销和内存占用方面具有更低的成本。相关代码与模型将公开发布于:https://github.com/caiyuanhao1998/MST