Koby Bibas Meir Feder Tal Hassner

摘要

在关键安全系统中，基于机器学习的模型需要能够有效检测分布外（Out-of-Distribution, OOD）样本，这对保障系统可靠性至关重要。现有的主流OOD检测方法通常假设在训练阶段可获得部分OOD样本，但在实际应用场景中，此类样本往往难以获取。为此，本文采用预测性归一化最大似然（predictive normalized maximum likelihood, pNML）学习器，该方法无需对测试输入做出任何先验假设。本文推导了单层神经网络（NN）的pNML及其泛化误差（称为遗憾，regret）的显式表达式。研究发现，当满足以下任一条件时，该学习器具有良好的泛化性能：（i）测试向量位于训练数据经验相关矩阵的大特征值所对应的特征向量张成的子空间中；或（ii）测试样本远离决策边界。此外，本文提出一种高效方法，将推导出的pNML遗憾度应用于任意预训练的深度神经网络（deep NN）：仅需在最后一层使用显式pNML表达式，并结合softmax函数即可实现。该方法在应用时无需引入额外可调参数，也无需额外数据。我们在多个基准测试中对所提方法进行了全面评估，使用DenseNet-100、ResNet-34和WideResNet-40模型，基于CIFAR-100、CIFAR-10、SVHN和ImageNet-30数据集进行训练，在共74个OOD检测任务中，相较于近期领先方法，性能提升最高达15.6%，显著优于现有技术。