HyperAIHyperAI

Command Palette

Search for a command to run...

检测真实世界中分布偏移的重要性:梯度的作用

Rui Huang Andrew Geng Yixuan Li

摘要

在现实世界中实现机器学习模型的安全部署,检测分布外(Out-of-Distribution, OOD)数据已成为关键环节。现有的OOD检测方法主要依赖模型输出或特征空间来构建OOD评分,而很大程度上忽略了梯度空间中蕴含的信息。本文提出一种简单且高效的方法——GradNorm,通过利用从梯度空间中提取的信息来检测OOD输入。GradNorm直接采用由softmax输出与均匀概率分布之间的KL散度反向传播所得梯度的向量范数作为判别依据。其核心思想在于:对于分布内(In-Distribution, ID)数据,梯度幅值通常大于分布外数据,因此该梯度范数具有显著的OOD检测判别能力。实验结果表明,GradNorm在性能上优于现有最佳方法,平均FPR95(即在95%检测率下的误报率)降低幅度最高达16.33%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供