我们提出了一种带有次级训练目标的序列标注框架，该框架旨在预测数据集中每个词的周围词。这一语言模型目标激励系统学习通用的语义和句法组合模式，这些模式对于提高不同序列标注任务的准确性也非常有用。该架构在多个数据集上进行了评估，涵盖了学习者文本中的错误检测、命名实体识别、分块和词性标注等任务。新颖的语言模型目标在每个基准测试中均提供了性能提升，而无需任何额外的标注或未标注数据。