在噪声数据上开展受控实验对于理解深度学习在不同噪声水平下的表现至关重要。由于缺乏合适的基准数据集，以往研究仅限于在受控的合成标签噪声环境下考察深度学习模型，而真实世界中的标签噪声始终未能在受控条件下进行系统研究。本文作出三项主要贡献。首先，我们首次构建了来自网络的受控真实世界标签噪声基准数据集。该新基准使我们能够首次在受控环境下系统研究网络标签噪声的特性。其次，我们提出了一种简单但高效的方法，可有效应对合成噪声标签与真实噪声标签。实验表明，该方法在我们自建数据集上以及两个公开基准数据集（CIFAR 和 WebVision）上均取得了最优性能。第三，我们开展了迄今为止规模最大的研究，深入探讨了深度神经网络在不同噪声水平、噪声类型、网络架构及训练设置下，基于噪声标签训练的表现。相关数据与代码已公开发布，访问链接为：http://www.lujiang.info/cnlw.html。