摘要

噪声对比估计（Noise Contrastive Estimation, NCE）是一种强大的对数线性模型参数估计方法，它在每个训练步骤中避免了计算配分函数或其导数，而这一过程在许多情况下都是计算密集型的。NCE与负采样方法密切相关，后者现在广泛应用于自然语言处理（NLP）。本文探讨了基于NCE的条件模型估计问题。条件模型在实际应用中非常普遍；然而，在这种设置下，尚未有严格的理论分析来研究NCE，我们将会论证将NCE推广到条件模型时存在一些微妙但重要的问题。具体而言，本文分析了两种基于NCE的条件模型估计方法：一种以分类目标为基础，另一种以排序目标为基础。我们证明了基于排序目标的NCE变体在比基于分类目标的方法更弱的假设条件下也能给出一致的参数估计；我们还分析了基于排序目标和基于分类目标的NCE变体的统计效率；最后，我们描述了在合成数据和语言建模上的实验结果，展示了这两种方法的有效性和权衡。