图像去雾是一项典型的低层视觉任务，旨在从有雾图像中恢复出无雾的原始图像。近年来，基于卷积神经网络（CNN）的方法在图像去雾领域占据主导地位。然而，尽管视觉Transformer在高层视觉任务中取得了突破性进展，却尚未为图像去雾带来新的研究范式。本文以当前流行的Swin Transformer为基础，发现其多项关键设计并不适用于图像去雾任务。为此，我们提出了DehazeFormer，该模型通过多项改进实现性能提升，包括改进的归一化层、激活函数以及空间信息聚合机制。我们在多个数据集上训练了DehazeFormer的多种变体，以验证其有效性。具体而言，在最常用的SOTS室内数据集上，我们的小型模型仅需FPA-Net约25%的参数量和5%的计算成本，便实现了超越其性能的表现。据我们所知，我们的大型模型是首个在SOTS室内数据集上PSNR超过40 dB的去雾方法，显著优于此前的最先进方法。此外，我们还构建了一个大规模真实遥感去雾数据集，用于评估该方法在去除高度非均匀雾霾方面的实际能力。