Zhuosheng Zhang Shuohang Wang Yichong Xu Yuwei Fang Wenhao Yu Yang Liu Hai Zhao Chenguang Zhu Michael Zeng

摘要

利用任务感知的标注数据作为监督信号，以辅助大规模无标注数据上的自监督学习，已成为预训练语言模型领域的新趋势。现有研究显示，基于大规模监督任务的多任务学习容易引发任务间的负面干扰。为应对这一挑战，我们提出了一种基于任务前缀引导的多任务预训练框架，旨在探索不同任务之间的内在关联。我们在40个数据集上开展了大量实验，结果表明，该模型不仅可作为广泛任务的强健基础主干网络，还可作为分析任务关系的探针工具。由任务前缀所反映的任务关系与任务间的迁移学习性能高度一致，同时为通过互补任务进行数据增强提供了有效方向，助力模型在常识推理排行榜上达到人类水平的性能表现。代码已开源，地址为：https://github.com/cooelf/CompassMTL。