摘要

大型语言模型（LLM）如ChatGPT和GPT-4的快速发展，引发了关于人工通用智能（AGI）即将到来的广泛讨论。然而，在开源模型中复现此类技术进展仍面临诸多挑战。本文介绍了InternLM2——一个开源大型语言模型，其在六大维度、三十项基准测试、长文本建模能力以及开放式主观评估中均展现出优于前代模型的综合性能。这一成果得益于创新的预训练与优化技术。InternLM2的预训练过程被详尽阐述，重点介绍了多样化数据类型的准备，包括文本、代码及长上下文数据。该模型在预训练与微调阶段逐步提升上下文长度，从初始的4K token扩展至32K token，从而高效捕捉长期依赖关系。在200K长度的“针在 haystack”（Needle-in-a-Haystack）测试中，InternLM2表现出卓越性能。为进一步提升模型对齐能力，InternLM2采用监督微调（SFT）策略，并引入一种新颖的条件在线人类反馈强化学习（Conditional Online Reinforcement Learning from Human Feedback, COOL RLHF）方法，有效应对人类偏好冲突与奖励劫持（reward hacking）问题。通过在不同训练阶段与多种模型规模下发布InternLM2系列模型，本文向研究社区提供了对模型演进过程的深入洞察。