▶ 原文链接

语言模型中的规划与多步推理前沿：LATS、SPRINT 与 SWiRL 方法剖析

来源： YouTube | 未署名主讲人 分类： 其他 原文发表： 未提供日期（推测为 2025 年前后） 纪要生成： 2026-08-05

---

嘉宾/话题简介

主讲人未在音频中具名，从内容推断应为该学术讲座的教师或研究者。讲座围绕三篇前沿论文展开，系统介绍了语言模型中规划与多步推理的最新进展：LATS（ICML 2024）将树搜索与行动反馈结合；SPRINT（NeurIPS 2025）探索推理的并行化；SWiRL（COLM 2025）通过过程奖励 RL 实现多步工具调用。每篇论文均从动机、方法、关键结果及局限性层面进行了深入剖析。

---

分节详述

00:05 LATS 引入：统一推理、行动与规划

本节重点

• 多步任务需要模型同时执行推理、行动和搜索优化
• LATS 的目标是在规划中引入多样性与探索
• 核心思想是将蒙特卡洛树搜索与语言模型推理融合

详细精要

• 多步任务的三个关键能力：推理、行动与搜索
• 推理：模型思考需要做什么，例如分析预算、制定计划（如旅行规划提示）。
• 行动：基于推理收集更多信息，例如调用搜索、浏览网页、阅读 Reddit 或旅行博客。
• 搜索：根据环境反馈和在线信息优化现有计划，如更换目的地、探索新活动。

• 三者需迭代进行，才能解决复杂问题（如安排一次旅行）。

• LATS 的核心挑战：从生成单一计划到鼓励探索多种路径

• 现有 LLM 产生大量解决方案或执行多步优化仍有困难。
• LATS 聚焦于将已知的强化学习和多步蒙特卡洛树搜索引入 LLM 的推理中，通过采样多样性路径来优化计划。

• 模型需要接收不同形式的反馈，并把反馈用于优化未来的搜索和规划。

• 以夏威夷旅行计划为例展示树搜索流程

• 提示为“规划夏威夷之旅”，模型可能采样出不同的行动，如询问朋友或阅读子版块。
• 框架为每个行动打分，根据分数决定是否扩展该节点（如行动 1 分高则优先扩展）。
• 扩展的行动可以进一步采样（如询问朋友 A 和朋友 B），且这些行动可以并行执行。

• 整个过程体现出持续探索与利用的平衡，这正是 MCTS 的核心——基于最佳状态扩展并结合探索与利用。

• LATS 与现有方法的区别

• Math-Shepherd：有一个验证器在测试时对推理轨迹进行打分并引导扩展。
• LATS：打分依据行动执行的结果（环境反馈），而非纯推理步骤。
• 还额外包含模型自身的反思，用于评估轨迹走势；同时将环境观察纳入考虑。
• 相较于 ReAct 框架，LATS 引入了更高级别的规划成分和更系统的搜索。

💬 精华片段（中文）

“The goal here was, let's go from the LLM, generate a plan, and executing on that plan, to really try to encourage diversification and exploration of different types of plans, or paths that the model can take.”

“目标是：不再仅仅让大语言模型生成一个计划并执行，而是真正鼓励不同计划类型的多样化和探索，或者说模型可以选择的不同路径。”

---

07:57 LATS 六阶段详解：从选择到反思

本节重点

• LATS 包含选择、扩展、评估、模拟、回传和反思六个阶段
• 节点评分由 LLM 评判和自一致性得分加权平均得到
• UCT 平衡探索与利用
• 回传与反思进一步提升质量

详细精要

• 六阶段完整流程：以迷宫导航为例
• 示例提示：从昏暗房间出发，有两个门，目标是找到出口。
• 选择：依据 UCT 分数选择一个节点进行扩展。
• 扩展：从选定节点采样多个行动（如开门左、开门右、搜索线索）。
• 执行：在环境中执行每个行动，并将观察结果拼接到上下文中（如走廊有画、房间有声音等）。
• 评估：对新状态打分，采用两种分数的平均。
• 模拟：从最高分状态继续贪婪扩展至终点（成功/失败/预算耗尽），例如选择楼梯后看到出口标记。
• 回传：根据模拟成功与否，反向更新路径上所有节点的值。

• 反思：将模型对成功/失败轨迹的思考文本加入上下文，显著提高整体质量。

• 状态评分机制：LLM 评判 + 自一致性

• LLM 评判得分：直接提示模型（作为法官）评估当前状态的成功机会，给出 0-1 分数。
• 自一致性得分：假如对同一个节点采样了 50 次行动，若某一行动出现频率高（如 75%），则赋予相应得分；计算公式为频率加权。

• 最终分值 = 两者相加得到单一值，用于指导扩展。

• UCT（应用于树的上置信界）与平衡探索利用

• 计算公式：V(s) + 超参数 × sqrt(ln(N_parent) / N_current)。
• 核心思想：如果一个子节点相对其父节点被访问次数较少，则鼓励探索；反之则减少探索。
• 纯粹贪心选择当前最高价值的节点可能会错失长期更好的路径。

• 该策略完全借鉴传统 MCTS 文献，没有数学证明其最优性，但被认为是一种较优的平衡方式。

• 回传机制

• 模拟轨迹结束后，无论是成功还是失败，将得到的返回值逐层回传。
• 更新公式：V(s) = (旧值 × (访问次数 - 1) + 返回值) / 总访问次数。

• 通过这种方式，探索过程中积累的经验被用于修正整个搜索树的价值估计。

• 反思步骤的实施与增益

• 在回传后，LATS 让模型对自己扩展的轨迹进行思考，即“反思”，并生成文本解释成功或失败的原因。
• 这些反思文本被追加到上下文，对提升最终任务表现有巨大助益。
• 例如，迷宫任务中，模型可以总结“我选择楼梯是因为有出口标记”等。

💬 精华片段（中文）

“If we just go based on the highest value at that point, we might miss out other nodes that right now, maybe at the current moment have a lower value, but down the road at the end might have higher value.”

“如果我们只根据当前点的最高价值去走，可能会错过那些此刻价值较低但最终可能更高的节点。”

---

16:58 LATS 实验结果与局限

本节重点

• 在 HotPotQA 和 WebShop 上取得强劲表现
• 增加采样轨迹数量和反思能显著提升性能
• 测试时更多计算换取更好解答，但成本高昂
• 不可逆行动等场景未覆盖

详细精要

• HotPotQA 上的表现与扩展性
• HotPotQA 需要至少从两篇不同维基百科页面检索才能回答，天然具有多步特性。
• 实验显示：随着采样轨迹数量增加，LATS 的性能显著提升。
• 加入反思和推理轨迹后，最终效果获得很大幅度跳升。

• 结论：LATS 为测试时用更多计算换取更好解答提供了一种有效机制。

• WebShop 数据集上的结果：靠近人类专家水平

• WebShop 是一个实战型任务，例如寻找符合特定规格的便携折叠桌。
• LATS 无需任何微调，仅在测试时进行多步搜索与规划，便能获得接近人类专家的成绩。

• 展现了该方法的强普适性和即插即用能力。

• LATS 的主要优势总结

• 首次将推理、行动和规划三种能力在语言模型框架内统一。
• 引入经典 MCTS 思想，实现了模块化且可移植的测试时方法。

• 在多个领域取得极强结果，实现方式相对简单。

• 关键局限与未解决问题

• 成本问题：树的每一次扩展、回传都会产生大量计算开销，论文未分析成本效益。
• 不可逆行动：某些场景下行动具有永久效果（如支付交易），若模型实际执行则后果严重，而 LATS 难以适应此类场景。
• 整体上，框架更多是提供平台，后续可采用其他探索利用策略（如多臂老虎机）进一步优化。

💬 精华片段（中文）

“The downside, of course, is the cost. Each of these back propagation and expansion of a tree, all of those are adding a lot of cost, and the cost benefits was not really analyzed in the paper.”

“缺点当然是成本。每一次回传和树扩展都会增加大量成本，而论文并未分析成本收益比。”

---

23:20 SPRINT：并行规划与执行的推理加速

本节重点

• 推理模型思考越长精度越高，但大量步骤相互独立
• SPRINT 通过后期训练微调模型识别并行机会
• 构建规划-执行数据并用 DAG 建模步骤依赖
• 并行化不仅加速，还提升准确率

详细精要

• 长推理现象的观察与动机
• 当前的 o1、Gemini Think、DeepSeek-R1 等模型面对更难题时思考变长。
• 长思考对应更高精度，例如 DeepSeek-R1 训练过程中，平均回复长度与准确率呈正相关。
• 但很多思考步骤之间具有独立性：模型会尝试其他方法、将任务拆分成子任务、验证前几步等，这些计算可以并行执行。

• 因此 SPRINT 旨在让模型自动识别并行化机会并加以利用。

• SPRINT 框架：规划-执行隔行交替

• 在后期训练/微调阶段，将推理模型改造为规划器 + 一组执行器。
• 模型先生成多个独立计划，再对每个计划生成执行步骤，这些执行可以并行运行。
• 执行结果汇合后，模型再次生成下一批计划与并行执行，如此反复（plan 1 & 2 → execs → plan 3 & 4 → execs ...）。

• 通过这种隔行交错的方案，推理过程被加速。

• 训练数据构造流程：用 LLM 自我标注创建并行思维轨迹

• 首先让 DeepSeek-R1 为 MATH 问题生成推理追踪。
• 然后用 GPT-4o 对该轨迹进行步骤划分，并标注每步中哪些是规划部分，哪些是执行部分。
• 计算出步骤间的依赖关系，用 GPT-4o 构建有向无环图（DAG）：比如步骤 2 和步骤 3 都依赖步骤 1 但彼此独立。
• 基于 DAG 进行打包：将无依赖关系的步骤打包为同一层级，实现可并行执行。

• 最终得到包含并行规划与执行标记的微调数据集。

• 微调策略与推理时的行为

• 将 DeepSeek-R1 在该数据集上进行监督微调（SFT），教会模型输出特定的标签，如 <plan i> 和 <exec i>。
• 推理时，模型解码出多个并行计划标签，然后系统可以同时执行这些执行器（可调用工具如计算器），结果返回后重新注入上下文。
• 后续的规划与执行继续间隔进行，保持模型的自回归生成特性不变。

💬 精华片段（中文）

“So the idea is, we want the model identify this parallelization opportunities and act on it.”

“所以想法是：我们希望模型识别出这些并行化的机会并采取行动。”

---

31:53 SPRINT 的效率与泛化结果

本节重点

• 对比基线，SPRINT 减少约 40% 顺序令牌量，同时精度提升 3.5%
• 跨域泛化：数学训练提升 GPQA 准确率
• 困难问题早期并行度高，后期收敛到单一计划
• 并行化带来更多探索预算与结构性思考增益

详细精要

• 推理效率大幅改善
• 传统的顺序推理模型：plan 1 → exec 1 → plan 2 → exec 2 … 耗时较长。
• SPRINT 流程：先输出 plan 1 和 plan 2，随后并行执行，执行结果返回后继续下一步，总顺序令牌数大幅减少。

• 具体数据：在 MATH 数据集上，相比 R1 Distill-7B，SPRINT 模型顺序令牌数量减少约 40%，同时准确率额外提升 3.5 个百分点。

• 准确率提升的解释

• 原本只追求并行加速，但意外发现模型更喜欢更结构化的并行思维，从而带来了准确率增益。

• 模型能够探索更多方法（在相同计算预算下），从而找到更好的解决路径。

• 强大的跨域泛化能力

• 只在 MATH 数据集上训练并行思维，但在未训练的 GPQA diamond 和 Countdown 数据集上，准确率同样获得提高。

• 说明模型并非仅仅记住任务特定模式，而是学到了“识别独立子任务并并行执行”这种深层技能。

• 问题难度与并行阶段的关联

• 越难的问题需要更多的迭代规划与执行。
• 在推理早期阶段，模型展示出较高的并行度和探索性（更多计划分支）。
• 到后期阶段则逐渐收敛到较少计划，并深入单一计划。

• 这表明 SPRINT 在天然匹配人类思维：先发散再聚焦。

• 负载均衡与现实限制

• 现实中独立子任务的执行时间可能不均匀，存在拖慢整体的情况。
• 初步措施是将过小的执行合并到计划中，但完全公平的负载均衡仍需优化。
• 数据集特性决定并行度上限：MATH 上可并行，但某些任务可能延迟，是任务固有属性。

💬 精华片段（中文）

“We have larger savings for problems that need more thinking... if the number of tokens in generated... is small, then there is probably less opportunity for parallelism. But this appears in the harder problems and problems that require more thinking.”

“需要更多思考的问题节省幅度更大……如果生成的令牌数量本来较少，并行化机会可能较少；但在更难的问题和需要更多思考的问题上，并行化的优势就体现出来了。”

---

50:20 SWiRL：无工具执行的强化学习多步推理

本节重点

• 多步推理与工具调用的挑战：错误累积、工具执行慢
• SWiRL 离线生成多步数据并用 LLM 打过程分
• RL 训练时不实际调用工具，只基于行动质量给予奖励
• 过程过滤数据优于仅保留正确轨迹的数据

详细精要

• 多步工具使用的挑战与 SWiRL 需求
• 实际问题（多跳问答、数学、软件工程、旅行计划）需要多轮推理和工具使用，错误会在步骤间累积。
• 教模型使用工具（计算器、Python）时，若在训练中实时调用，将面临工具失败、延迟拖慢训练等问题。
• 现有 RLHF/RLAIF 多为单步最终答案奖励，无法提供过程指导。

• SWiRL 设计目标：教会模型何时调用工具、生成正确查询、维持准确率、从错误中恢复、适时停止并给出答案，且避免训练中调用工具。

• 多步数据离线生成：逐步提示法

• 对给定提示，告诉模型“有这些工具可用，可以推理、调用工具或输出最终答案”。
• 第一步：模型给出包含推理与工具调用的动作，记录环境响应。
• 第二步：将原始提示、前一步动作及环境响应打包，再次提示模型“你可以继续使用工具或给出答案”，生成下一步。
• 如此迭代，构造出不同长度的多步轨迹数据集。
• 每个步骤均由 LLM-as-a-Judge 进行评分：要求法官（如 GPT-4o）根据之前的上下文和当前动作，给出一个0-1 的奖励分数，评估该步骤的好坏。

• 所有工具执行和评分均在离线阶段完成，完全与后续 RL 解耦。

• RL 训练阶段：无工具执行的奖励优化

• RL 过程中，将多步轨迹的前 k 步（包含环境响应）作为状态输入模型。
• 模型在第 k+1 步生成新动作（推理+工具调用），但无需实际执行该工具。
• 直接使用离线时对应的 LLM 法官分数作为该动作的奖励，进行策略优化。
• 这一设计的关键在于：法官只评判提出的动作是否合理（比如“搜索某人的年龄”是否是个好问题），而不需要知道搜索结果，因此奖励可以脱离真实环境。

• 优化目标：最大化每个单步动作的期望奖励，给定所有前序状态和动作。

• 数据过滤策略对比：过程过滤 vs. 结果过滤

• 三种过滤方式：过程过滤（保留所有步骤被法官判定为良好的轨迹）、结果过滤（只保留最终答案正确的轨迹）、两者结合。
• 关键发现：仅用过程过滤数据训练的模型比只用结果正确轨迹或两者结合的效果更好。
• 原因：结果正确的轨迹往往是模型已经会做的题，无法帮助模型学习解决原本无法解决的问题；而过程正确但结果可能错误的轨迹包含了有价值的思考过程。
• 这与 SPRINT 中的发现呼应：教会模型思考方式比只教正确答案更重要。

💬 精华片段（中文）

“We realize that the LLM just does a good job based on the quality of the action that's proposed, we're good in just evaluating that. We don't need to execute the action and evaluate that.”

“我们意识到大语言模型仅凭所提议行动的质量就能做出良好判断，我们只需评估它就行了，不需要实际执行该行动再来评估。”

---

01:06:16 SWiRL 实验结果与泛化洞察

本节重点

• 跨数据集与跨工具泛化：GSM8k 训练提升 HotPotQA
• 增加合成数据量显著提升跨域表现
• RL 优于 SFT，过程奖励让模型逐步改进
• 过程正确性指标直接上升

详细精要

• 实验设置
• 模型基底：Gemma-2-27b 用于生成多步合成数据。
• 数据来源：HotPotQA（搜索工具）和 GSM8k（SymPy/计算器工具），生成约 5 万条数据。

• 用不同方式过滤训练集，评估 SWiRL 在多步 RL 后的性能。

• 跨工具与跨数据集泛化

• 在 GSM8k 上用 SymPy 工具训练 SWiRL，测试 HotPotQA（应使用搜索工具）时，准确率从基线的 65% 提升到 71%；而直接用 HotPotQA 的搜索工具训练并测试则达到 73%。
• 反之，在 HotPotQA 上训练，GSM8k 的准确率同样得到提升。

• 说明模型学到了通用的“多步思考+工具调用”能力，而非对特定工具的适配。

• 合成数据规模的扩展效应

• 在 HotPotQA 上训练但测试 GSM8k（数学题），随着训练数据量从 100 增加到 10,000 条，模型在完全不同的工具和领域上的表现持续提升。

• 这枚最关键的图表表明：通过在易构建数据的环境（如 HotPotQA）大量合成过程数据，能够泛化到全新领域。

• RL vs. SFT 的对比

• 在同等数据下，多步 RL 的性能显著优于 SFT。
• 对 SFT 而言，数据最好具有正确的结果和过程，因为 SFT 是模仿学习，错误的最终结果会误导模型。

• 而 RL 给模型提供了在先前步骤基础上重新生成动作的机会，并用该动作的过程奖励指导优化，从而能利用过程正确但结果错误的数据。

• 过程正确性指标的提升

• 训练后，无论是训练领域（HotPotQA）还是未训练领域（GSM8k），模型的平均过程奖励均有上升。
• 也就是说，模型在每一步思考的正确性上都有所进步，这也解释了跨域泛化的来源。

💬 精华片段（中文）

“It seems like there is something going beyond just like learning to use a specific tool, rather, the model is learning how to think in steps and how to learn how to invoke a tool.”

“似乎不仅仅是学会了使用某个具体的工具，而是模型学会了如何一步一步思考，以及学会如何调用工具。”

---

专业术语注释

术语	解释
LATS	Language Agent Tree Search，将蒙特卡洛树搜索与语言模型结合，通过行动执行结果评分并扩展推理树。
蒙特卡洛树搜索 (MCTS)	一种通过模拟和回传来平衡探索与利用的搜索算法，常用于游戏和规划。
UCT	Upper Confidence bounds applied to Trees，用于树节点选择的公式，平衡探索（访问次数少的节点）与利用（高价值节点）。
ReAct	一种将推理与行动交替进行的框架，模型根据观察结果逐步思考并采取行动。
Math-Shepherd	使用验证器评估推理轨迹、引导搜索的测试时方法。
SPRINT	一种通过微调让模型生成并行规划与执行轨迹的方法，旨在加速推理。
有向无环图 (DAG)	用于表示步骤间依赖关系的图，SPRINT 用它来确定哪些步骤可以并行。
推理模型 (Reasoning Model)	具有显式长链思维推理过程的模型，如 o1、DeepSeek-R1。
SWiRL	一种基于强化学习的多步推理框架，离线构造数据并利用过程奖励训练，无需在训练时实时执行工具。
LLM-as-a-Judge	使用一个语言模型对另一模型的输出进行质量评分的做法，常用于生成奖励或评估。
过程奖励	对推理链中每一步的质量打分，区别于只看最终答案的结果奖励。
自一致性得分	通过对同一节点的多次采样，将采样频率转化为分数，用于评估状态的可靠性。
SFT (监督微调)	使用标注好的输入-输出对直接训练模型的行为，属于模仿学习。
RLHF / RLAIF	从人类偏好/ AI 偏好进行强化学习的方法，通常基于最终答案反馈。
HotPotQA	一个多步问答数据集，要求至少从两篇维基百科文章检索信息才能回答。
WebShop	电商场景的交互式基准，要求模型通过多步搜索和比较找到符合复杂条件的产品。
GSM8k	小学水平的数学应用题数据集，常用于评估数学推理。
GPQA Diamond	高难度问答数据集，考察模型的跨领域推理能力。

---

延伸思考

1. 成本与效益的权衡：LATS 虽然性能强劲，但每步扩展和回传产生大量计算开销，实际部署时如何设计裁剪策略或利用更小的策略模型值得探索。
2. 并行化的理论极限：SPRINT 假设任务内部存在独立子任务，但并非所有多步问题都适合并行；未来能否设计一个“可并行度”评估器，动态决定何时采用并行策略？
3. 过程奖励的欺骗风险：SWiRL 用 LLM-as-a-Judge 提供过程奖励，若法官本身存在偏见或能被生成器“讨好”，可能扭曲学习目标；结合环境验证或许更稳健。
4. 从不完美数据中学习：SWiRL 发现即使最终答案错误的过程数据也对 RL 有用，这暗示我们可以更积极地利用丢弃的探索轨迹，类似人类从失败中学习。
5. 整合趋势：将 LATS 的树搜索、SPRINT 的并行执行与 SWiRL 的过程奖励结合，有望构建一个同时在动作层面搜索、在步骤层面并行、在轨迹层面优化的统一智能体框架。

原文发表：未提供日期（推测为 2025 年前后）  ·  纪要生成：2026-08-05