Command Palette
Search for a command to run...
{Zhenheng Yang Zhihan Zhang Zhenye Jiang Xuefeng Hu Ram Nevatia Syomantak Chaudhuri}

摘要
图像操纵技术正迅速发展;尽管这些技术在诸多有益任务中具有应用价值,但其生成高度可信的虚假信息的能力也对社会构成了潜在威胁。本文提出一种新型的空间金字塔注意力网络(Spatial Pyramid Attention Network, SPAN),用于检测并定位多种类型的图像篡改。该网络通过构建多尺度局部自注意力块的金字塔结构,高效且有效地建模了图像块在不同尺度间的关联关系。其设计引入了一种新颖的位置投影机制,以编码图像块的空间位置信息。SPAN在合成数据集上进行训练,同时也支持针对特定数据集的微调。实验结果表明,该方法在标准数据集上的表现显著优于此前的最先进方法。
基准测试
| 基准 | 方法 | 指标 | 
|---|---|---|
| image-manipulation-detection-on-casia-v1 | SPAN | AUC: .480 Balanced Accuracy: .112  | 
| image-manipulation-detection-on-cocoglide | SPAN | AUC: .475 Balanced Accuracy: .298  | 
| image-manipulation-detection-on-coverage | SPAN | AUC: .670 Balanced Accuracy: .235  | 
| image-manipulation-detection-on-dso-1 | SPAN | AUC: .669 Balanced Accuracy: .233  | 
| image-manipulation-localization-on-casia-v1 | SPAN | Average Pixel F1(Fixed threshold): .112  | 
| image-manipulation-localization-on-cocoglide | SPAN | Average Pixel F1(Fixed threshold): .298  | 
| image-manipulation-localization-on-columbia | SPAN | Average Pixel F1(Fixed threshold): .759  | 
| image-manipulation-localization-on-coverage | SPAN | Average Pixel F1(Fixed threshold): .235  | 
| image-manipulation-localization-on-dso-1 | SPAN | Average Pixel F1(Fixed threshold): .233  |