将大型语言模型代理（LLM Agent）蒸馏为小型模型，并结合检索和代码工具

大型语言模型（LLMs）在复杂推理任务中表现出色，但计算成本高昂，限制了其实际应用。为了解决这一问题，近期的研究重点在于通过教师大型语言模型的链式思维（CoT）轨迹，将推理能力蒸馏到较小的语言模型（sLMs）中。然而，这种方法在需要罕见事实知识或精确计算的场景下表现不佳，小模型由于能力有限而经常产生幻觉。在这项工作中，我们提出了代理蒸馏（Agent Distillation），这是一种框架，旨在将不仅推理能力，还包括完整的任务解决行为从基于大型语言模型的代理转移到具有检索和代码工具的小型语言模型中。我们沿着两个互补的方向改进了代理蒸馏：(1) 引入了一种称为“首次思考前缀”的提示方法，以提高教师生成轨迹的质量；(2) 提出了一种自洽的动作生成方法，以增强小型代理在测试时的鲁棒性。我们在涵盖事实和数学领域的八个推理任务上评估了我们的方法，包括领域内和领域外的泛化性能。结果显示，参数量分别为0.5亿、1.5亿和3亿的小型语言模型可以达到与使用CoT蒸馏微调后的下一层次更大规模的1.5亿、3亿和7亿参数模型相当的性能，展示了代理蒸馏在构建实用、具备工具使用能力的小型代理方面的潜力。我们的代码可在https://github.com/Nardien/agent-distillation 获取。