Long N. Phan; James T. Anibal; Hieu Tran; Shaurya Chanana; Erol Bahadroglu; Alec Peltekian; Grégoire Altan-Bonnet

摘要

在本报告中，我们介绍了SciFive，这是一种针对生物医学领域的T5模型，已在大规模生物医学语料库上进行了预训练。我们的模型在命名实体关系、关系抽取、自然语言推理和问答任务上超越了当前最先进的方法（即BERT、BioBERT和基础T5）。我们展示了文本生成方法在广泛的生物医学自然语言处理任务中具有显著潜力，尤其是在需要较长、更复杂输出的任务中。我们的结果支持对更具挑战性的文本生成任务进行探索，并推动该领域新方法的发展。