▶ 原文链接

验证：从训练验证器解决数学问题到缩小生成-验证差距

来源： YouTube 学术讲座 | | 分类： 其他 原文发表： 纪要生成： 2026-08-05

---

嘉宾/话题简介

本集是斯坦福大学AI课程的一次讲座，由讲师（未具名）系统性地回顾了“验证”技术在大型语言模型领域过去四年的发展。讲座通过四篇标志性论文，阐述了如何构建验证器来自动判断模型生成的答案是否正确，从而解决模型的幻觉问题并提升推理能力。内容涵盖了从基础的数据集构建、两种监督学习范式（结果监督与过程监督）、自动化数据标注，到最新的通过弱监督学习集成多个验证器并完成知识蒸馏的前沿方法。

---

分节详述

00:05 引言与GSM8K数据集

本节重点

• 回顾了推理时扩展和生成-验证差距
• 介绍了2021年OpenAI的论文，动机是解决LLM幻觉
• 引入了GSM8K数据集，聚焦于多步推理的数学问题

详细精要

• 核心问题回顾“生成-验证差距”：模型“知道”答案但无法可靠地选出正确答案。
• 现象：语言模型似乎能解决很多难题，特别是使用重复采样或推理时扩展等技术时，能够生成正确答案。

• 挑战：如何自动选择哪个答案是正确的，或在答案生成过程中引导模型。

• 首篇论文介绍与动机：OpenAI 2021年的论文《训练验证器解决数学问题》，旨在解决LLM的幻觉问题。

• 四年后的今天，LLM仍会自信地呈现错误解答，尽管模型能力已显著提升。
• 该论文的贡献之一是引入了新的数学推理基准GSM 8K。
• 数据集包含8500道中小学水平的数学应用题。
• 核心特点：聚焦于多步推理，即问题虽简单，但模型需要数步推理才能得出答案。
• 解答是以自然语言呈现，而非纯数学表达式。
• 至今，GSM 8K仍是评估小型模型的有用基准，也可参考其形式设计项目所需的评估集。

03:20 训练验证器的原理与方法

本节重点

• 验证器训练依赖于生成的解决方案及其正确性标签
• 验证器结合了二元分类损失和语言建模损失
• 验证器在测试时通过评估大量候选答案的最高分来选出最终答案
• 验证器的一个变体是在每个Token上预测正确性

详细精要

• 验证器的训练流程：使用语言模型作为生成器，生成多个候选解答，利用真实标签训练验证器。
• 生成器对问题 (Q_i) 生成解答 ( \psi )。
• 通过重复采样，每个问题生成100个候选解答。
• 基于预先由人工监督设计的标准答案，为每个解答创建二分类标签（正确/错误）。

• 训练数据由（问题，解答，标签）三元组构成。

• 训练的双重损失函数：验证器训练结合了用于二分类的验证损失和传统的语言模型损失。

• 语言建模目标：在输入问题的Tokens之后，添加一个损失项，激励模型预测或减少从真实解答标签的偏离。

• 二元分类损失：直接预测解答正确与否的损失。论文结果表明，使用两种损失对模型训练有帮助。

• 验证器的架构细节：验证器本身也是一个语言模型，附带一个输出二元预测的轻量标量头。

• 该标量头在每个Token上输出一个预测，表示当前解答与人工标注的真实解答的接近程度。
• 问题部分的Tokens被屏蔽，不参与验证部分的优化。

• 训练步骤：先对生成模型在部分训练集上监督微调两个周期（此步是否有必要现在有争议，因为现代模型指令遵循能力已很强），然后生成解答并标注，最后用该数据集训练验证器一个周期。

• 标签粒度的消融实验：比较了在句子级别和Token级别创建标签的效果。

• 句子级别：每个句号后的句子是否是一个正确的推理步骤。
• Token级别：标签噪声极大，目标是让每一个Token都遵循最终能导向正确答案的模式。
• 测试时评分机制：无论哪种粒度，最终的解答分数只看最后一个Token的预测。如果最后一个Token预测为“正确”，则整个解答判定为正确，反之亦然。

💬 精华片段（中文）

"We are looking at the token-level prediction by the trained verifier. And if it's green, meaning the verifier has a high score... And in this case, there were some lower scores in the middle, but towards the end, it became greener and greener, and this was a correct prediction at the end." "我们观察训练好的验证器在每个Token上的预测。绿色表示验证器给出高分...在这个例子中，中间有一些低分Token，但越接近结尾，分数越来越高，最终做出了正确的预测。"

10:58 验证器 vs. 微调的对比与扩展性分析

本节重点

• 验证器方法在模型规模和训练数据量增加时优于纯监督微调
• 组合大型生成器和小型验证器比反向组合效果更好
• 验证器在增加采样数时有效，但当采样数过大（如800）时，其甄别能力会下降

详细精要

• 验证器与纯微调的对比：实验比较了仅用监督微调和在微调基础上增加验证阶段的性能差异。
• 对于6B和175B的GPT-3模型，验证方法均表现出更好的效果。

• 关键条件：验证器要优于此方法，需要训练集足够大。数据量小于1000条时，验证对175B模型的帮助不大。

• 生成器与验证器规模组合的研究：探究了模型规模的分配策略。

• 方案一：大型生成器 + 小型验证器。
• 方案二：小型生成器 + 大型验证器。
• 结论：方案一效果更好。直观理解是生成任务平均而言比验证任务更难。

• 开放问题：寻找生成器和验证器规模的帕累托最优，这在当今基础生成模型能力大提升的背景下，仍是一个有价值的研究课题。

• 推理时扩展的局限性：通过增加每个问题的候选解答数量，并用验证器评分选优。

• 当采样数量从100增加到400左右时，能获得大量收益。
• 采样数量达到800时，验证器性能不再提升甚至下降。原因在于，验证器的精确度有限，当800个解答中有两个分数很接近但一真一假时，验证器无法有效区分，导致选错。
• 最终系统选择在100个样本时停止，因为此时收益最稳定。
• 这与此前讲座中提到的多数投票进行了对比：多数投票在采样数达到50时即失效，而验证器在此处能支撑到400，显示出更强的可扩展性。

💬 精华片段（中文）

"What they saw was that the larger generator helps. The smaller verifier does better than vice versa. And to some extent, this is intuitive, because if we assume generation is naturally, or on average, is a harder task than verification, then this might make sense." "他们发现大型生成器加小型验证器的组合效果更好。这在某种程度上是直觉性的，因为如果我们认为生成任务天然地或平均上比验证任务更难，那么这个结果就能说得通。"

21:08 过程奖励模型 vs. 结果奖励模型

本节重点

• 介绍了过程监督的概念，即对推理的每一步进行评分
• 过程奖励模型能更好地处理错误推理但最终答案正确的“假阳性”问题
• PRM通过人工标注创造了PRM800K数据集，并采用主动学习策略提高标注效率

详细精要

• 问题定义与新方案：如果模型在一步步解题的早期犯错，会毁掉整个答案。由此引出两种奖励建模方法。
• 结果奖励模型：训练模型对完整解答给出一个关于整体正确性的奖励分数（与第一篇论文方法类似）。

• 过程奖励模型：为解答中的每一个推理步骤分配一个奖励分数。这被称为过程监督。

• PRM的训练数据构建：核心是获取每个推理步骤的正确性标签。

• 不再是采样100个解答，而是关注一个解答及其推理步骤。
• 雇佣人类标注员逐个步骤进行评审，判断每个步骤是“正确”或“错误”，并标注出来。
• 他们提出了一个名为PRM800K的开源数据集，包含80万个步骤级别的标签。

• 主动学习策略：为提高数据效率，他们优先选择“可信的错误”答案让人类标注，即最终答案正确但中间步骤错误的样本。这种方法使数据效率提升了2.6倍。

• PRM的训练与评分机制：使用GPT-4作为基座模型，先进行监督微调，再基于步骤级标签训练PRM。

• 最终奖励的计算方式：将PRM对解答中每一步给出的奖励分数相乘，作为对解答质量的总评分。

• 系统可基于此总评分决定是输出答案还是重新生成。

• 过程监督的核心优势：能更好地控制假阳性。

• 结果监督下，模型可能通过完全错误的过程“碰巧”得到正确答案，从而导致误判。
• 过程监督因为监督了每一个步骤，因此极不可能出现步骤全错但最终答案正确的情况。
• 另一个好处是鼓励可解释的推理和人类认可的解题过程。

29:04 PRM的性能评估与泛化能力

本节重点

• PRM在性能上优于ORM和多数投票法，尤其对于低概率的正确答案
• 从数据效率角度看，PRM的样本效率远高于ORM
• PRM在分布外泛化能力上显著优于ORM和多数投票法

详细精要

• 性能对比：PRM在大规模实验中全面超越ORM和多数投票。
• 当每个问题的解答数N增大到100左右时，多数投票法性能饱和并开始下降。
• 而橙色线表示的PRM准确率持续高于代表ORM的蓝线，并且能稳定提升。

• PRM的独特优势在于，它能检测出分布中出现概率极低（低于5%）的正确答案。

• 数据效率：在获得同等性能的情况下，PRM所需的数据量更少。

• 对ORM而言，为一个问题标注100个完整解答的标签，其学习到的信息量，大约只相当于在PRM中为1个解答提供步骤级标签。

• 泛化能力：评估验证器在不同领域和新数据集上的表现至关重要。

• 多数投票在分布偏移下的泛化能力甚至优于ORM。
• 然而，PRM的泛化能力全面优于多数投票，能够容忍远为更大的分布偏移。这表明PRM学习到了更本质、更通用的推理评判能力。

💬 精华片段（中文）

"PRM outperforms ORM and majority voting... Majority voting, again, fails after, in this case, 100 or so samples. The blue line is the ORM model, and the orange one is the PRM approach that is doing better." "PRM优于ORM和多数投票... 在此案例中，多数投票在采样100次左右后再次失败。蓝线的ORM模型和橙线的PRM方法表现更佳，但PRM明显领先。"

38:14 无人类标注的过程验证：Math-Shepherd

本节重点

• 提出自动化标注方法以摆脱对昂贵人工标注的依赖
• 核心思想是根据某个步骤“能最终导向正确答案的潜力”来定义该步骤的质量
• 将此PRM作为奖励模型，通过PPO强化学习优化生成模型，实现自我改进

详细精要

• 动机：过程奖励模型效果好，但需要大量人工标注，成本高且难以获取。核心问题是：能否自动化PRM的标签收集过程。

• 自动化标注方法：定义推理步骤的质量为该步骤“能够通向最终正确答案的潜力”。

• 硬估计：从当前步骤出发，采样N条补全路径。只要其中任意一条最终达到了正确答案，就将当前步骤标注为“成功”（标签为1）。
• 软估计：衡量从当前步骤出发的所有N条生成中，最终得到正确答案的比例（如2/3）。

• 挑战和缺点：（1）对于难题，如果N不够大，可能找不到任何正确路径，导致所有步骤都得不到正向信号；（2）如果中间步骤有错但因运气好最终答案正确，这些错误步骤仍会被标注为“正确”；（3）可能会惩罚那些不常见但正确的创新性解题路径，因为在小样本N里可能碰巧没被发现。

• 实验发现：比较硬估计和软估计。

• 随着N增大，软估计表现稍好。

• 但在该论文设定中，当N=4时达到最佳性能，此时硬估计和软估计差别不大。最终选择硬估计，因为它更容易计算。

• 性能对比：Math-Shepherd方法与基线对比。

• 在MATH和GSM8K数据集上，绿线Math-Shepherd均优于红线的自洽性和蓝线的ORM。
• 关键点：它的性能超越了前一篇论文中使用人工标注训练的PRM800K验证器，尤其是在更难的MATH数据集上优势更明显。

• 在LLaMA-70B、LLaMA-34B和DeepSeek-67B等多个不同模型上，该结论均成立。

• 通过强化学习自我改进：将训练的PRM用作奖励模型，来优化生成器本身。

• 对Mistral-7B模型，使用PPO算法，以PRM作为奖励信号进行RL微调。
• 结果显示，使用PRM作为奖励的RL微调，比使用ORM作为奖励的提升更大。
• 这形成了一种多层级自我改进的闭环：模型生成数据 -> 自动训练PRM -> 用PRM在推理时提供验证，并且在训练时作为RL奖励信号来提升生成器。但在某一点后，这种优化出现了平台期。

52:05 缩小差距：弱验证器集成（Weaver）

本节重点

• 转变思路，不训练新验证器，而是通过推理时集成多个“弱”验证器来获得强验证能力
• 验证器类型扩展为PRM、ORM和LLM-as-a-Judge三种
• 核心方法是使用弱监督学习算法（源自Snorkel），通过学习权重来聚合多个独立、不完美的验证信号

详细精要

• 新范式：来自斯坦福的NeurIPS 2025论文，核心思想不是训练单个完美验证器，而是通过推理时的计算和集成多个“弱”验证器来缩小生成-验证差距。
• “弱”指每个验证器都不完美，是当前能找到的最佳模型，但存在缺陷。

• 目标是将一个验证器集合组合成一个更强的单一验证器。

• 验证器类型：

• PRM：过程奖励模型。
• ORM：结果奖励模型。

• LLM-as-a-Judge：直接利用LLM自身作为评判者，通过设计Prompt（如：“你认为这个答案正确吗？”）或使用工具、评分细则（rubrics）来获得评分。

• 集成方法探索：

• 简单的平均集成（Top-1, Top-5, Top-10）能带来提升，但并非单调递增。
• 更有效的方法是学习每个验证器的权重。在朴素贝叶斯或逻辑回归等简单方法下，使用有标签的训练集学习权重，再应用于测试集，可获得巨大提升。

• Weaver方法：“打分、加权、选择”三步法。

  1. 打分与过滤：对所有验证器的输出打分并归一化，移除在少量验证数据上表现极差的低质量验证器。这一步极其重要。
  2. 加权：使用弱监督学习技术，仅需极少量标签数据来估计每个验证器的准确度（学习其权重）。
  3. 聚合：利用学习到的权重，组合所有验证器的输出来计算最终分数。

• 弱监督核心假设：Weaver工作受Snorkel (由 Alex Ratner 等人开发) 等项目启发，其关键假设是每个验证器捕捉了正确性的一个独立方面。

• 如果所有验证器对所有样本的打分都完全一致，那么集成它们没有任何“新信息”。
• 集成的价值来源于验证器们打分之间的 “相似性”和“相异性”。

• 基于此独立性假设和贝叶斯公式，可以构建一个优化问题，求解出最优的集成权重。

• 集成性能显著提升：

• 在GPQA Diamond、MATH和MLU Pro等困难基准上，Weaver方法的提升远超朴素集成。
• 将Weaver（Supervised，使用1%训练标签）与朴素集成、多数投票和多智能体验证对比。
• 多智能体验证是指通过Prompt让LLM从不同角度评分，其效果甚至不如多数投票。
• Weaver类方法能带来阶梯式跃升，例如在某个硬问题上，将准确率从略高于40% 提升至70% 以上，匹配了类似o3-mini等前沿模型的性能。

💬 精华片段（中文）

"The assumption in Weaver is that each verifier captures independent aspect of the correctness... The signal here is on similarity and dissimilarity across this whole set of verifiers with each other." "Weaver中的一个假设是，每个验证器都捕捉了正确性的一个独立方面... 这里的信号来源于整个验证器集合内部彼此之间的相似性与相异性。"

01:02:13 跨越模型等级与验证成本优化

本节重点

• 通过Weaver集成，8B模型可达到70B模型的性能，缩小模型等级差距
• 70B模型配合Weaver可达86.2%的准确率，比肩顶尖闭源模型
• 通过知识蒸馏，可将庞大的验证器集成模型压缩为极小的模型，降低99%以上的推理成本

详细精要

• 缩小模型等级差距：
• 当生成器为Llama 3.1 8B Instruct，配合一个由8B及以下模型组成的验证器池时，系统在多个数据集上平均准确率达到70%。
• 这一成绩与在70B规模模型上使用多数投票的效果相当，意味着通过推理时验证集成，做到了小模型媲美大模型。

• 当生成器和验证器都升级到70B级别时，系统平均准确率达到86.2%，这与o3-mini这种性质完全不同的专有模型具有高度可比性。

• 成本挑战与蒸馏解决方案：

• 挑战：对每个查询的每个候选解答都要运行一整个验证器池（多个大型模型），计算成本极高（例如，1个查询100个样本，每个样本运行10个验证器）。
• 解决方案：知识蒸馏。
• 方法：先按Weaver方法训练好集成模型，然后将其学到的知识“蒸馏”进一个极小的模型中。
• 效果：他们展示了一个仅4亿参数的蒸馏模型，能够捕获原复杂验证器池97% 的准确率，而在测试时的计算消耗降低了99%以上。
• 效率对比：一张“成功率 vs. 推理计算量”图表明，浅蓝色的蒸馏版Weaver在计算效率上远超原始的深蓝色Weaver和朴素集成、多数投票等方法。即使是原始的Weaver，因为能达到更高的准确率天花板，在总计算量上也比低效能的方案更有效率。

01:06:35 课程总结与QA

本节重点

• 回顾了四篇论文代表的验证技术演进路径
• 回答了关于验证器在不同领域的应用、推理模型、生成器-验证器架构差异等问题

详细精要

• 技术演进路径总结：
• 训练验证器：验证可用于提升训练和推理的结果质量。
• 过程奖励：PRM总体上比ORM更有效，但最优方案可能需要结合两者。
• 数据扩展与自我提升：验证器需要大量数据，且可用于RL微调以提升生成器质量。

• 弱监督集成：Weaver另辟蹊径，通过对弱验证器集成进行弱监督优化，通过增加验证器数量实现推理时扩展，最终可通过蒸馏获得高效率模型。

• 问答环节精要：

• 验证的领域泛化：实验室里的验证方法也可用于其他推理任务（如编程）。可以像“Code Monkeys”论文中那样，让模型生成单元测试作为验证器，而无须直接训练验证器。
• 推理模型与验证：像o1这类推理模型，其训练本身就整合了验证环节（生成推理步骤，用奖励模型打分，通过RL生成正样本轨迹再用于下一轮训练）。它们仍可从采样更多解答中受益，以探索更多解空间。未来，推理时扩展可能会主要用于生成训练数据，目标仍是提升模型的单次回答能力，但同时又需要保持模型生成方案的创造性和多样性。
• 生成器与验证器的架构差异：关于验证器和生成器是否应来自同一模型家族或不同家族，尚无系统性的研究来回答哪种更优。通常观察到，模型更“喜欢”自己生成的答案和解释。

---

专业术语注释

术语	解释
验证器	一个用于评估语言模型生成的解答是否正确的模型或系统，是本次讲座的核心主题。
生成-验证差距	指语言模型能够通过多次生成产生正确答案，但无法可靠地自己识别出哪个答案是正确的这一现象。
GSM 8K	一个包含8500道中小学水平数学应用题的数据集，由OpenAI于2021年发布，核心特点是测试模型的多步推理能力。
结果奖励模型	一种验证器，对语言模型输出的完整解答给出一个整体的、结局性的正确与否的评分。
过程奖励模型	一种验证器，它将解答分解为多个步骤，并对每一步推理的正确性单独进行评分。
过程监督	用于训练PRM的方法，通过为推理过程中的每个步骤提供正确性标签来提供更精细的监督信号。
PRM800K	OpenAI发布的一个开源数据集，包含80万个人工标注的步骤级正确性标签，用于训练过程奖励模型。
自动标注	Math-Shepherd论文中提出的方法，通过蒙特卡洛树搜索（即从当前步骤出发N次，看有多少次能到达正确答案）来自动生成步骤级标签，无须人工参与。
硬估计	一种自动标注方法，如果从某步骤出发的N次采样中，只要有任意一次最终答案正确，该步骤就被评为“好”。
软估计	一种自动标注方法，根据从某步骤出发的N次采样中，最终答案正确的概率占比来给出0到1之间的连续评分。
多数投票 / 自洽性	一种基准方法，生成N个解答，将出现频率最高的那个答案作为最终答案，不涉及任何经过训练的验证器模型。
PPO	一种强化学习算法，在Math-Shepherd中被用作优化生成模型的策略，以PRM的评分作为奖励信号。
LLM-as-a-Judge	直接使用一个大型语言模型，通过特定设计的提示词来评价另一个模型生成的回答的质量。
弱验证器	Weaver论文中的概念，指任何单个的、无法完美进行判断的验证器，通过集成多种不完美的验证器来获得强大的整体验证能力。
弱监督学习	一种机器学习范式，Weaver利用该方法将来自多个噪声大、质量不一的“弱验证器”的信号，通过一小部分有标签数据学习权重并整合，生成一个更准确的“强信号”。
多智能体验证	一种利用多个LLM智能体，根据不同的评估维度对一个回答进行打分的验证方法。
知识蒸馏	一种模型压缩技术，将一个大型、复杂的“教师”模型（如验证器集成）的知识，迁移到一个更小、更高效的“学生”模型上。

---

延伸思考

1. 生成器与验证器规模的帕累托最优：在计算资源固定的情况下，如何最优地分配模型规模给生成器和验证器（或验证器集成）以获得最高性能？这在当前模型能力普遍提升的背景下是极具价值的研究问题。
2. 推理时计算的分配策略：除了增加生成样本，也可以增加对验证过程本身的采样。在固定推理总预算下，如何在“多生成”和“仔细验证”之间进行动态分配？
3. 生成多样性与验证准确率的权衡：用RL和PRM反复优化生成器可能会使其概率分布过度“尖锐”，牺牲解题路径的创造性与多样性。如何在自我改进的闭环中维持这种宝贵的多样性？
4. 验证器的跨架构泛化：讲座最后提问中提及，生成器和验证器是来自同一模型家族，还是不同架构（如密集型模型 vs. MoE）效果更好，这是一个没有定论且值得系统性探索的方向。
5. 过程监督中的“奖励黑客”问题：如果使用PRM直接优化生成器，模型可能会学会跳过推理步骤，直接生成PRM喜欢看到的答案。除了保持生成器与验证器独立训练，还有哪些机制可以有效防止这种作弊行为？

原文发表：**纪要生成：** 2026-08-05  ·  纪要生成：2026-08-05