Tom B. Brown; Benjamin Mann; Nick Ryder; Melanie Subbiah; Jared Kaplan; Prafulla Dhariwal; Arvind Neelakantan; Pranav Shyam; Girish Sastry; Amanda Askell; Sandhini Agarwal; Ariel Herbert-Voss; Gretchen Krueger; Tom Henighan; Rewon Child; Aditya Ramesh; Daniel M. Ziegler; Jeffrey Wu; Clemens Winter; Christopher Hesse; Mark Chen; Eric Sigler; Mateusz Litwin; Scott Gray; Benjamin Chess; Jack Clark; Christopher Berner; Sam McCandlish; Alec Radford; Ilya Sutskever; Dario Amodei

摘要

近期的研究表明，通过在大规模文本语料库上进行预训练，然后针对特定任务进行微调，可以在许多自然语言处理（NLP）任务和基准测试中取得显著进展。尽管该方法在架构上通常对任务不敏感，但仍需要数千甚至数万个特定任务的微调数据集。相比之下，人类通常只需几个示例或简单的指令就能完成新的语言任务——这是当前的自然语言处理系统仍难以实现的能力。本文展示了通过大幅扩展语言模型可以显著提升其在任务不可知、少量样本条件下的性能，有时甚至能与先前的最佳微调方法相媲美。具体而言，我们训练了GPT-3，一个具有1750亿参数的自回归语言模型，其参数量是非稀疏语言模型中最大的，比任何前一个非稀疏语言模型多出10倍，并在少量样本条件下测试了其性能。对于所有任务，GPT-3均未进行任何梯度更新或微调，仅通过与模型的纯文本交互来指定任务和少量示例。GPT-3在多个自然语言处理数据集上表现出色，包括翻译、问答和完形填空任务，以及一些需要即时推理或领域适应的任务，如重组单词、在一个句子中使用新词或执行三位数算术运算。同时，我们也发现了一些GPT-3在少量样本学习方面仍然存在困难的数据集，以及一些由于在大规模网络语料库上训练而面临方法论问题的数据集。最后，我们发现GPT-3能够生成新闻文章样本，这些样本让人类评估者难以区分是由机器还是由人类撰写的。我们讨论了这一发现及其对社会的影响，并探讨了GPT-3的整体影响。