摘要
监督微调（Supervised Fine-Tuning, SFT）对于大语言模型（Large Language Models, LLMs）的训练至关重要，能够显著提升模型在指令遵循和上下文学习等关键能力方面表现。然而，由于特定领域特有的约束条件以及数据稀缺问题，构建适用于特定领域的高质量训练数据集仍面临挑战。本文提出了一种名为 SearchInstruct 的创新方法，专门用于构建高质量的指令数据集以支持 SFT。我们的方法从少量由人工生成的领域相关问题出发，利用大语言模型对其进行系统性扩展；随后，动态检索与领域相关的资源，为每个扩展后的问题生成准确且上下文恰当的回答。实验评估表明，SearchInstruct 能有效提升 SFT 数据集的多样性和质量，从而在特定领域内显著改善大语言模型的性能。此外，我们还证明，该方法不仅适用于数据集构建，还可有效支持模型编辑等任务，实现对已有模型的高效更新。为促进研究的可复现性及社区采纳，我们已在公开的 Git 仓库中提供完整的实现细节、生成的全部指令-响应对数据集以及源代码：https://github.com/mostafaamiri/SearchInstruct。