HyperAIHyperAI

Command Palette

Search for a command to run...

大规模图像分类中的相关输入依赖标签噪声

Mark Collier Basil Mustafa Efi Kokiopoulou Rodolphe Jenatton Jesse Berent

摘要

大规模图像分类数据集通常包含噪声标签。本文提出一种基于概率建模的系统性方法,用于刻画输入相关的标签噪声(即异方差性噪声)。我们在神经网络分类器的最终隐藏层上引入一个服从多元正态分布的潜在变量,其协方差矩阵用于建模由标签噪声引起的随机不确定性(aleatoric uncertainty)。实验表明,所学习到的协方差结构能够有效捕捉语义相似类别与共现类别之间的已知噪声来源。与标准神经网络训练方法及其他基线方法相比,本方法在多个基准数据集上均取得了显著提升:在 ImageNet ILSVRC 2012 上达到 79.3% 的准确率(提升 +2.6%),在 ImageNet-21k 上达到 47.0%(提升 +1.1%),在 JFT 数据集上达到 64.7%(提升 +1.6%)。此外,我们在 WebVision 1.0 数据集上取得了 76.6% 的 top-1 准确率,创下新的最先进水平。这些数据集的训练样本数量从超过 100 万到超过 3 亿不等,类别数从 1,000 到超过 21,000。我们的方法实现简单,易于部署,提供了一个可直接替换深度分类器最后一层全连接层的即插即用式实现。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供