语言建模

Language Modeling 是预测文档中下一个词或字符的任务，可训练语言模型应用于文本生成、文本分类和问答等自然语言处理任务。自2010年代起，神经语言模型取代了N-gram模型，2020年代后，大型语言模型（LLMs）成为实现最先进水平的唯一途径。模型的能力通过交叉熵和困惑度评估，常用数据集包括WikiText-103、One Billion Word、Text8、C4和The Pile。