语法错误纠正可以被视为一个低资源序列到序列的任务，因为公开可用的平行语料库有限。为了应对这一挑战，我们首先使用一种现实的噪声函数生成大规模未标注语料库的错误版本。生成的平行语料库随后用于预训练Transformer模型。接着，通过依次应用迁移学习，我们将这些模型适应于测试集的领域和风格。结合上下文感知的神经拼写检查器，我们的系统在ACL 2019 BEA共享任务的受限和低资源赛道中取得了具有竞争力的结果。我们发布了所有代码和材料以确保可复现性。