思维操控:外部思维可以高效地用于大型推理模型
Yule Liu, Jingyi Zheng, Zhen Sun, Zifan Peng, Wenhan Dong, Zeyang Sha, Shiwen Cui, Weiqiang Wang, Xinlei He
发布日期: 4/23/2025
摘要
)之间,可以有效地减少模型生成的思考步骤。基于这些见解,我们提出了一种简单而高效的流水线——ThoughtMani,使 LRMs 能够跳过不必要的中间步骤,并显著降低计算成本。我们进行了广泛的实验来验证 ThoughtMani 的实用性和效率。例如,在应用于 QwQ-32B 模型处理 LiveBench/Code 数据集时,ThoughtMani 保持了原有的性能水平,并将输出标记数量减少了约 30%,同时 CoT 生成器带来的额外开销很小。 此外,我们发现 ThoughtMani 平均提升了 10% 的安全对齐性。由于模型供应商通常同时提供不同规模的模型,ThoughtMani 为构建更高效且易于访问的大型推理模型提供了有效途径,适用于实际应用中。 注:原文中的“overthinking”、“CoTs”、“ThoughtMani”、“QwQ-32B”、“LiveBench/Code”等术语在中文翻译中未找到通用译法或译法不明确时保留了原文。