▶ 原文链接

CS320A 第六讲：训练时扩展（强化学习扩展）

来源： YouTube | CS320A 授课老师 | 无 分类： 其他 原文发表： 无 纪要生成： 2026-08-05

---

嘉宾/话题简介

本集是 CS320A “自我改进的 AI 智能体”课程的第六讲，主题为“训练时扩展”或“扩展 RL”。授课老师系统性地讲解了如何通过闭环反馈让模型在训练中自我提升推理能力。内容围绕三篇关键论文展开：STaR（自我教导的推理者）、DeepSeekMath（聚焦数学推理的 RL 方案）以及 DAPO（长链推理 RL 的工程解药）。讲座对比了预训练、监督微调、测试时扩展与训练时扩展的差异，并揭示了在数学、编程等可验证领域中，较小模型如何借助精心设计的 RL 算法超越参数规模更大的前辈。

---

分节详述

00:05 引言：训练时扩展与三大关键洞察

本节重点

• 介绍本讲三篇核心论文及训练时扩展的概念
• 阐明小模型超越大模型准确率的三个关键洞察
• 训练时扩展的定义：用模型自行生成的输出过滤后微调自身

详细精要

• 本讲内容概览：课程将覆盖三篇论文
• STaR：通过为问题引入推理链（rationales）来增强模型推理能力，出自斯坦福学者。
• DeepSeekMath：研究如何在大语言模型中提升数学推理能力。

• DAPO：聚焦于强化学习，解决长推理链下 RL 算法的稳定化问题。

• 动机：AIME 基准上的性能跃迁：以数学推理基准 AIME 2024 和 AIME 2025 为例

• GPT-3.5（175B 参数）仅获约 5% 准确率。
• DeepSeekMath 在 7B 模型上通过训练时扩展达到 51.7%，加入额外技巧后可达 60%。
• DAPO 在 Qwen-32B 模型上达到 50% 准确率。

• 这一现象挑战了“参数规模越大性能越高”的传统认知，展示了小模型在推理基准上可达到极高性能。

• 训练时扩展的定义与三大洞察

• 先前做法：模型仅在互联网数据上进行预训练。
• 洞察一：如果让模型从自身输出中学习，并通过巧妙过滤选取正确样本，可以进一步提升模型效能（因此课程名为“自我改进的 AI 智能体”）。
• 洞察二：训练模型时投入的计算量可以替代模型参数。早期工作已表明，增加训练小模型的数据量可以提升特定基准性能。

• 洞察三：进行强化学习时，与监督学习相比，必须极度关注实现细节。随着算法规模扩大，细小的修正极其重要。

• 三种计算范式的关系

• 预训练：在互联网数据上训练模型（第一讲重点）。
• 微调（RLHF/RLAIF）：基于人类偏好或 AI 反馈训练出聊天机器人。
• 测试时扩展：之前课程讲述的推理时技术，如多数投票、推理时采样组合输出等（作业一涉及）。
• 训练时扩展：将经过测试时扩展过滤后的模型输出用作微调数据，构成闭环。讲座强调：只需记住这个循环，便掌握了训练时扩展的核心。

💬 精华片段（中文）

"If you take nothing away from this entire lecture, but you just remember this loop, then you have learned the basics of what train time scaling does."

“如果你从这整堂课中只记住一件事，那就记住这个循环，你就学会了训练时扩展的基本原理。”

02:10 推理基准 AIME 与规模替代

本节重点

• AIME 基准难度提升，GPT-3.5 表现极差，但小模型通过训练时扩展实现飞跃
• 参数扩展不再是唯一路径，训练时计算可部分替代模型大小
• 学生提问：训练与测试时扩展的算力分配与 ROI 曲线

详细精要

• AIME 基准简介
• AIME 是比 MATH 更复杂的数学推理基准，许多模型已在 MATH 上过拟合，因此切换到 AIME。

• AIME 问题需要更深层次的推理，而非简单的模式匹配。

• 性能对比凸显训练时扩展威力

• GPT-3.5（约 175B 参数）：准确率 ~5%。
• DeepSeekMath 7B：通过训练时扩展达到 51.7%，附加技巧达 60%。
• DAPO 加 Qwen-32B：达到 50%。

• 这说明在基准准确率上，训练时扩展可以弥补甚至超越参数量的不足。

• 关于算力分配的学生提问

• 问题：如何决定训练时扩展和测试时扩展之间的算力分配？是否存在 ROI 平坦区？
• 回答：暂时搁置到第三篇论文再讨论。

03:16 训练时扩展的基本原理与循环

本节重点

• 训练时扩展的循环解释：测试时筛选输出 → 再用其微调
• 推理基准受益于可验证性
• 课程核心主题：自我改进的闭环

详细精要

• 训练时扩展与测试时扩展的对比
• 测试时扩展：主要是推理时技术，如多数投票、采样组合，属于推理解码阶段。
• 训练时扩展：将测试时扩展的输出过滤后，用作新一轮微调的数据，再反复迭代，形成一个自我改进的循环。

• 课程名称“自我改进的 AI 智能体”正源于此。

• o1 模型的算力扩展图

• 左侧图：横轴为训练时计算量，右侧图：横轴为测试时计算量；纵轴均为 Pass@1 准确率。
• 两者都呈现对数-线性关系：即计算量增加，准确率上升。

• o1 的核心发现：同时增加训练时计算和测试时计算可以共同提升基准准确率，从而允许构建一个“圆环”式的反馈环路。

• 可验证性是成功的关键

• 数学领域具有可验证性：你能够知道哪些输出正确、哪些错误，从而为训练时扩展筛选正确样本。
• 训练时扩展在有强验证信号的领域效果更好（如编程、数据分析、数学），而在个人写作等领域则提升有限。

💬 精华片段（中文）

"Math is a domain in which there is verifiability... So you have the ability to know which outputs are correct, and which ones are not correct. So you have some ability to actually choose the correct outputs that can then feed into train time scaling."

“数学是一个具有可验证性的领域……所以你能知道哪些输出正确，哪些不正确。因此你有能力挑选出正确的输出，进而馈入训练时扩展。”

06:26 训练与测试计算的权衡

本节重点

• o1 实验显示，训练时计算和测试时计算对 Pass@1 准确率提升均有效
• 学生对“测试时性能优于训练时”提出质疑
• 测试时扩展成本低廉，但训练时扩展需足够成功样本才能有效闭环

详细精要

• o1 实验图表解读
• 左图展示训练时计算，右图展示测试时计算。两者都表明计算量越大，Pass@1 准确率越高。

• 该图表意在展示通过增加两个维度的计算可以实现协同提升，为闭环训练提供了依据。

• 学生对图表可靠性的质疑

• 学生指出右侧图表（测试时）似乎显示相同计算下精度提升比训练时更好，询问这是否可疑。

• 教师承认图表可能存在问题，并开玩笑说“图表并不总是对的，正如它们最近的发布所示”。

• 测试时扩展 vs 训练时扩展的成本与限制

• 测试时扩展非常廉价：模型已训练好，只需部署多次推理，如果有一个答案正确且拥有良好验证器，理论上可以无限扩展计算。例如下周将介绍的 AlphaCode 通过无限搜索可以在测试时找到正确解。
• 训练时扩展的挑战：必须正确扩展，且闭环必须有足够的成功样本，否则无法提供有效的学习信号。这与传统机器学习中训练与测试性能比较的逻辑不同。
• 当可验证性弱时，仍需训练时扩展让模型学会更好地推理。

07:28 推理模式与可验证性

本节重点

• 数学及编程领域的可验证性使训练时扩展特别有效
• 思维模型利用链式思考进行问题分析、任务分解和自我纠正
• 展示 o1 早期版本的思考模式实例

详细精要

• 推理为何有助于解决难题
• 典型推理模型（如 Gemini Flash Thinking、其他前沿实验室的等价模型）通过将思考 tokens 用于显式推理过程，来解决更复杂的问题。

• 链式思考的核心：分配一部分 tokens 专门用于“展现工作”，包括：

  • 问题分析：理解问题描述。
  • 任务分解：将任务拆分为子任务。
  • 自我评估：检查答案是否合理，若不正确则回溯并重新做。

• 具体思考模式实例

• 第一个例子（批脚本问题）：
  • 用户要求编写一个批量脚本，输入特定格式的字符串，输出其转置矩阵并保持相同格式。
  • 模型首先花 tokens 分析用户需求的输入输出格式，然后才开始求解。
• 任务分解：模型会说“方法应包括解析输入字符串、构建矩阵、转置矩阵、再以相同格式输出矩阵”。

• 自我纠正（化学问题）：

  • 模型计算溶液的 pH 值，中途突然意识到“等等，正确的公式不同”，随后修改了原本要使用的公式。
  • 这表明模型能够从自身知识库中提取信息进行自我纠正。

• 可验证领域的优势

• 对比 GPT-4o（非思维模型），思维模型在编程、数据分析、数学计算等具有验证能力的领域，胜率超过 50%。
• 而在个人写作、文本编辑等难以验证的领域，思维模型的胜率提升不明显。
• 胜率指由人类评审的 A/B 测试中思维模型优于非思维模型的概率。

10:39 思考模型的核心优势

本节重点

• 思维模型通过自我纠正和回溯突破知识的局限
• 讨论训练时扩展是否会损害简单问题的能力
• 引入“过思考”的概念

详细精要

• 思考模型如何超越既有知识
• 尽管模型的推理能力最终来源于其预训练知识，但自我纠正机制允许它修正自身在执行过程中的错误，而非仅仅回忆固定知识。

• 例如在化学问题中，模型自动替换了错误公式，即是一种对知识应用路径的实时修正。

• 关于简单问题性能退化的讨论

• 学生提问：微调模型解决困难问题是否会导致解决简单问题的性能退化？如何防止？
• 回答：通常情况下，解决困难问题不应导致简单问题退化，除非推理链出现某种“断裂”，比如陷入过思考（overthinking），即产生重复无效的推理链。
• 讲座后续将探讨如何通过 KL 散度等技术保持模型已有能力。

14:49 预训练模型与推理扩展

本节重点

• 测试时扩展相当于“抛洒意大利面”，依赖于正确答案的存在
• 训练时扩展旨在提升单次采样（Pass@1）的正确率
• 环境信号可验证性是闭环的必需条件

详细精要

• 两种范式的形象比喻
• 预训练模型在特定领域（如数学、推理）具备一定基础能力。
• 测试时扩展：让模型在推理时进行多条思路采样，然后挑选一个正确的。这好比“把意大利面扔到墙上，我知道它应该落在哪里”。
• 训练时扩展：通过反馈循环教会模型提升 Pass@1 准确率，使其更具可能直接输出正确答案。

• 无论哪一种，都需要验证循环。

• 关于蒸馏与自我改进的辨析

• 学生指出可以用更大模型生成高质量数据来蒸馏小模型，而 STaR 之类方法是从小模型自身出发。老师承认蒸馏是实际应用中的有效策略，但本课程的焦点是探索如何从零构建自改进系统。
• 这也引出后续对数据质量、生成方法以及 RL 与 SFT 关系的讨论。

16:24 论文一：STaR – 利用推理链自举推理

本节重点

• 形式化介绍 STaR：自教导推理者的动机与假设
• 现有方法的局限：缺乏大规模推理步骤数据，手动标注昂贵，少样本提示效果有限
• 核心假设：正确输出是推理质量的代理；模型能基于提示给出推理；初始模型足够强以启动自举

详细精要

• 链式思考的价值与挑战
• 链式思考在 LLM 中提供了解释性，并能提升数学推理。

• 挑战：

  • 互联网级别数据绝大多数不包含推理步骤。
  • 人工标注推理步骤极其昂贵。
  • 基于已知解模式自动化生成推理的方法仅在极特定领域有效。
  • 少样本提示（提供少量推理示例）仍劣于大规模数据上的微调。

• STaR 的核心思路

• 从一个包含推理步骤的小提示数据集（如 10k 个问题）启动。
• 在更大的训练集（只有问题和答案，无推理）上生成解答。
• 仅保留回答正确的样本（包含问题、生成的理由、答案）用于微调模型。
• 重复此循环。
• 对于模型未能正确解答的问题，不是直接丢弃，而是给模型提供正确答案作为提示，要求它“逆向解释”或“理性化”出推理过程。这被称为 rationalization。

• 将这些理性化后的样本也加入训练集，从而包含更难的题目，实现迭代自举。

• STaR 的三大核心假设

• 正确输出代理推理质量：在数学等任务中，最终答案正确通常意味着推理链质量较高。过滤掉错误答案即可提升训练数据质量。
• 模型能基于答案提示生成有效推理：即使它最初未能解决，给定答案后也应能说出如何得到该答案。
• 初始模型足够强大：能够从少量示例中自举。若问题完全超出模型能力范围，则无法启动该过程。

💬 精华片段（中文）

"So you basically generate reasoning attempts. You learn from successful reasoning paths where the quality of the reasoning paths is entirely based on things being correct. And for failed attempts, you're basically rationalizing them by saying, OK, here is a hint. Please generate the rationale."

“基本原理是，你生成推理尝试，从成功的推理路径中学习，其质量完全基于正确性。对于失败的尝试，则通过提供提示进行理性化，即‘这是答案，请生成推理过程’。”

25:17 STaR 的算法流程

本节重点

• 详细分步说明 Vanilla STaR 和带理性化的 STaR 流程
• 提示数据集与训练数据集的分工
• 迭代循环：从生成到微调，再到再次生成

详细精要

• 算法步骤
• 准备两个数据集：
  • 提示数据集（Prompt Dataset）：包含问题、理由和答案的小规模数据（如多项选择题：葡萄在结账前放在哪里？理由，答案为 B. 购物车）。
  • 训练数据集（Training Dataset）：规模大但仅有问题和答案。
• 第一步：用提示数据集对模型进行少样本提示，引导它在训练集上生成推理和答案。
• 第二步：检查生成答案是否正确。
  • 若正确，则将问题、生成的推理和答案作为训练样本收集起来。
• 第三步（理性化）：对于不正确样本，向模型提供正确答案作为提示，让它生成一个“能导致正确答案”的推理链。此样本也被加入成功集合。
• 第四步：用这些收集到的（问题+推理+答案）数据微调语言模型。

• 第五步：循环迭代，用微调后的更强模型重新执行上述过程。

• 实验设置

• 模型：GPT-J（6B 参数开源模型，类似 GPT-3）。
• 训练细节：较小热身阶段，恒定学习率，外部循环有固定迭代次数，每轮内部训练步数逐步增加（慢启动原则）。
• 测试数据集：
  • GSM8K：小学数学题，约 9k 样本。
  • CommonsenseQA：日常常识多选题，带推理。
  • 算术：多位数加法等合成数据。

28:30 STaR 实验结果与挑战

本节重点

• 在 GSM8K 上相对基线有提升，但理性化未带来额外增益
• 在 CommonsenseQA 上推理质量获人类认可，且数据效率高
• 方法的局限：非真正 RL，多次迭代后性能平台化；推理质量无中间监督

详细精要

• 主要结果
• 数学基准：对比直接监督微调，STaR 将准确率提升至 51.7%，但仅用了 70%~87% 的数据（丢弃了无正确解的样本）。
• 挑战：并非真正的 RL，多次迭代后性能趋向平台化，需仔细调整迭代次数。

• 常识推理（CommonsenseQA）：

  • 人类评估：将 STaR 生成的推理链与少样本提示的推理链对比，STaR 推理链的合理性普遍被认可。
  • 数据效率：STaR 结合理性化，仅使用 86% 的数据，即达到与使用全量数据微调时的 72.5% 准确率，极大减少了对大量数据的需求。
  • 这证明了在自然语言推理问题上，该自举方法有效。

• 数学推理上的异常：理性化未改善 GSM8K

• 在 GSM8K 上，直接使用 STaR（不带理性化）与带理性化的效果提升不明显。直接微调甚至可能与之匹敌。
• 原因分析：对于 GPT-J 这样的模型，GSM8K 问题可能过于简单，模型本身已经能很好地执行链式思考，而提供答案提示帮助不大。

• 当任务复杂度超出模型能力时，理性化才显出价值。

• 方法与局限

• 优势：无需人类标注推理链，样本效率高，可应用于符号、自然语言乃至数学问题。
• 局限：
  • 缺乏对推理步骤的精细评估，仅依赖最终答案过滤，可能包含有错误中间步骤的“假阳性”。
  • 提示工程对生成的推理风格有较大影响，可能带有偏见。
  • 这种方法受限于基础模型“推理”能力的边界：若模型完全不懂该领域，即使用了提示也生成不出有用的理性化。

💬 精华片段（中文）

"The model to reason or there needing to be some sort of a verifier or a reward model. And the reward models if the model is too capable, then the reward rewards will get hacked."

“模型需要具备推理能力或者必须有一个验证器/奖励模型。如果模型过于强大，奖励模型也可能被‘欺骗’。”

36:59 STaR 的变体与问题讨论

本节重点

• 引出 V-STaR（加入验证器）和 Quiet-STaR（内部思考）
• 学生讨论 STaR 的性能边界：受限于基础模型固有知识
• 老师总结：大量 RL 魔法的核心在于基础模型到底能做什么

详细精要

• STaR 的演进方向
• V-STaR：在 STaR 的循环中加入一个验证器，生成器和验证器协同训练，提升滤波质量。

• Quiet-STaR：不只将推理步骤放在语言空间，而是让模型在隐层空间（latent space）内通过 MLP 进行“内部思考”，用更高效的方式代替英文推理链。

• 课堂讨论：STaR 性能的天花板

• 学生回答：
  • STaR 无法做出训练数据中不存在的“逻辑跳跃”，理性化只能基于模型已知的内容。
  • 如果模型很笨，根本产生不了新的合理推理，就无法注入高质量样本。
  • 某些答案（如 225）隐含了 15×15 之类的步骤，如果模型不知道，引导也没用，可能需要大量数据才能泛化出回溯能力。
• 老师总结：所有回答直指核心——未来我们进入 RL 时，底层基础模型的能力是决定自举能走多远的关键。训练时扩展是在模型已有的基础上进行潜力挖掘，而非从零创造全新智能。

40:51 论文二：DeepSeekMath – 数学推理与 GRPO

本节重点

• DeepSeekMath 在 7B 上取得突破，关键在正确的数据准备与 RL 算法
• 数据策略：从代码模型出发 + 高质量 Common Crawl 数学页面筛选
• 引出 GRPO 作为训练时扩展的 RL 引擎

详细精要

• 从大数据到好数据：DeepSeek 的数据洞察
• 早期 PaLM 论文通过大量 science and math 的 arXiv 论文数据提升 STEM 能力，但 DeepSeek 发现：训练 arXiv 论文不是秘诀。
• 关键创新一：以 DeepSeek Coder（代码预训练模型） 为起点，再转向数学。代码基础带来了更好的推理和工具使用能力，这是首次正式证明“从代码到数学”的迁移效果。
• 关键创新二：从 Common Crawl 网页中精心筛选数学内容，而非仅依赖 arXiv。他们开发了 OpenWebMath 数据集，通过对 Web 数学内容的覆盖与提纯，获得了远超 arXiv 的 tokens 产出。

• 启示：在进入 RL 前，提升模型在该领域的基线能力是必需的。

• RL 算法挑战：PPO 的内存墙

• 传统的 RLHF 采用 PPO 算法，需要同时维护旧策略模型、新策略模型、Critic（价值）模型、Reward 模型，共 4 个模型副本。当模型变大（如 7B 以上）时，显存压力剧增，限制扩展。

• GRPO（Group Relative Policy Optimization，组相对策略优化）：DeepSeek 提出去掉 Critic 模型，利用组基线来估计优势函数，只需 3 个模型副本。

• GRPO 工作原理

• 对每个问题，采样 G 个回答（一个组）。
• 用奖励模型给每个回答打分。
• 对组内奖励进行标准化：优势 = (该回答的奖励 - 组平均奖励) / 组奖励标准差。
• 这种比较性技术（类似于 DPO 的逻辑）利用了奖励模型原本就基于比较训练的特性，无需额外的 Value 网络，极大节省了内存，使得在有限 GPU 上扩展 RL 成为可能。

💬 精华片段（中文）

"So by providing the group context you can save memory, and now you can start scaling up RL."

“通过提供组上下文信息，你可以节省内存，于是就能开始扩展强化学习。”

44:03 GRPO：组相对策略优化

本节重点

• GRPO 将 DeepSeekMath 7B 的准确率推到 51.7%
• 不同 RL 算法（STaR、拒绝采样、GRPO）在梯度系数上的本质区别
• 奖励必须具有分布性才能提供学习信号

详细精要

• GRPO 的实效

• 在 Math 基准上，DeepSeekMath 通过 GRPO 将准确率从 46.8% 提升至 51.7%，成为第一个在没有 Critic 的情况下突破 50% 的 7B 开源模型。

• RL 算法梯度系数比较

• 不同算法的核心区别在于梯度系数的计算方式：
  • STaR：离线生成一次，正确奖励为 1，错误为 0，存活的正确样本微调。
  • 在线拒绝微调（Online Rejection Fine-tuning）：在线采样，但只对正确样本赋奖励 1，错误丢弃。
  • GRPO：在线采样一个组，用奖励模型打分，通过组内标准化获得连续的优势值作为梯度系数。这使得模型能区分“好”与“更好”，而不仅是“对”与“错”。

• GRPO 的优势函数提供了更细粒度的训练信号，特别适用于需要逐步改进的单步答案问题。

• 关于简单问题退化的深入讨论

• 学生提问：用困难问题微调所有权重，理论上不会损害简单问题吗？
• 回答：
  • 奖励分布至关重要。如果所有题目都很难（奖励全部为 0），或所有都很简单（奖励全为 1），则归一化后优势为 0，模型无事可学。
  • 因此，必须保证训练 batch 中问题难度的分布性，让奖励有高有低，形成有效的“爬坡信号”。
  • 另外，PPO 中通常包含 KL 散度惩罚项，防止模型偏离原策略太远，从而保留了已学会的简单问题能力。

48:14 奖励分配与回归问题

本节重点

• 通过控制 KL 散度可缓解对简单任务的遗忘
• GRPO 使模型的多数票能力（Majority@K）提升，但 Pass@K 未改善
• 模型变得更一致，而非从根本上更聪明

详细精要

• 防止遗忘的机制

• 学生和老师补充：除奖励分布外，KL 散度惩罚迫使新策略不远离旧策略，从而维持已有能力，不会在基准上过度特化而牺牲泛化能力。

• GRPO 的改进模式

• DeepSeekMath 论文发现，GRPO 主要提升的是Majority@K（K 次采样中多数答案正确的概率），但并未改善 Pass@K（K 次采样中至少一次正确）。
• 这意味着模型并没有产生新的最优解，而是让正确推理路径的概率密度变得更高，即模型变得更“一致”，而非“更聪明”。

• 这背后隐含着训练时扩展在提升鲁棒性与成功率，尚无法教会模型解决全新型问题。

• 奖励信号的设计

• 老师解释了在 GRPO 中如何通过奖励模型给出稠密得分，而非仅用 0/1。这提供了更丰富的学习梯度。
• 在线采样（从当前策略采样）相较离线方法（如 STaR）效果更好，因为它能及时反映模型最新的能力边界。

53:22 论文三：DAPO – 强化学习的稳定性技巧

本节重点

• 直接将 GRPO 扩展到更难的 AIME 基准（Qwen-32B）时遭遇的不稳定现象
• 响应长度增长不可控、熵崩溃、训练不稳定
• DAPO 的目标：显式化那些 DeepSeek 未公开的工程技巧

详细精要

• 扩展 GRPO 的挑战
• 如果在 Qwen-32B 上简单套用 GRPO 做 AIME，只能得到 30% 准确率，而已知 DeepSeek 能达到 47%。

• 典型失败模式：

  • 熵崩溃：模型变得过于自信，探索能力消失。
  • 训练不稳定：损失震荡。
  • 响应长度失控：模型输出的推理链长度可以无限制地增长，消耗大量计算。

• DAPO 的四大解药

• 不对称 PPO 裁剪：标准 PPO 裁剪函数对概率上升和下降施加相同约束，容易导致低概率 token 无法提升，高概率 token 被过度压制，从而扼杀探索。DAPO 提出不对称裁剪，允许更大的概率增加，防止熵崩溃。
• 动态采样：GRPO 对每个问题固定采样 64 个回答并构成一个组。DAPO 指出，如果某组内奖励全对或全错，优势为 0，这批数据对梯度无贡献，浪费了计算。因此，它提出了动态采样：过度采样，然后滤掉全对和全错的组，只保留具有信号混合（部分对/部分错）的组，从而保持有效批次大小。
• 词元级损失：传统做法是样本级损失（每个 Q&A 对损失权重相同）。如果模型生成了一个超长的、胡言乱语的错误答案，它与一个精炼短答案获得了同等影响力，导致训练偏差和响应长度失控。DAPO 将损失计算下沉到词元级别，自然地对过长错误答案给予了更合适的权重，控制了熵和平均响应长度的增长。
• 软过长惩罚：对于超出上下文限制而被截断的推理链，直接硬截断会引入噪声。DAPO 引入了渐进式的惩罚，对接近最大长度的词元施加递增惩罚，平滑了训练过程，使生成内容的长度趋于稳定。

💬 精华片段（中文）

"If you basically do the online reinforcement learning loop and you sample from the current model, that beats what we were doing earlier... So the model actually became more consistent, not fundamentally smarter."

“如果你运行在线强化学习循环，从当前模型采样，这比我们之前的方法更好……所以模型实际上变得更一致了，而不是从根本上更聪明。”

54:57 不对称裁剪与动态采样

本节重点

• 不对称裁剪 vs 对称裁剪对精度和熵的影响
• 动态采样实现原理：如何滤除无信号组并维持有效批次
• 论证 64 样本并非魔数，采样策略取决于基准难度和模型能力

详细精要

• 不对称裁剪实验效果
• 图表显示：使用不对称裁剪（紫色线），AIME 准确率明显更高，并且模型的熵保持稳定且较高（代表持续探索的能力）。

• 对称裁剪则导致熵快速下降并塌陷，准确率停滞。证实了阻止低概率 token 的适当上升会导致探索过早结束。

• 动态采样的逻辑

• 标准 GRPO：固定 N 个样本形成组。
• DAPO：动态地过度采样，然后剔除那些全对（奖励 =1 满分布）或全错（奖励 =0 满分布）的组，只对包含混合奖励的组计算梯度。
• 这样的好处：放弃无信息量的梯度步骤，确保每一个优化步都有信号，提高了数据利用率和训练效率。

• 相关提问：“过滤掉那些组是否浪费了问题？” 老师澄清：动态采样正是为了不把梯度资源浪费在没有学习可能性的状态上。

• 采样数量非固定值

• 学生好奇 64 个样本是否因 AIME 数据有限而过小。老师解释这仅是一个示例。实际上，样本数量应根据基准难度和模型当前能力动态调整，以确保组内奖励具有充分方差。

57:39 长度损失与过长惩罚

本节重点

• 词元级损失解决样本级损失将“长垃圾”与“短好货”等权的问题
• 对截断现象的软惩罚让生成推理链更稳定
• 多重技巧叠加后的性能跃进

详细精要

• 从样本级到词元级损失
• 问题：当模型输出一个极长的、毫无意义的答案时，样本级损失给予它的权重与一个言简意赅的正确答案相同，这导致模型在学习时，异常长输出带来的梯度噪声污染了整个更新方向。

• 解决方法：改用词元级损失，使损失直接与每个输出序列的长度绑定，从而自然地对于超长错误输出施加更大惩罚，抑制了生成内容长度的爆发。

• 处理截断带来的噪声

• 当推理链因为超出上下文窗而被硬性截断时，这些不完整的序列会带来巨大的噪声，因为模型的意图被打断。

• DAPO 引入软惩罚函数：对序列末尾的部分逐步施加更大的惩罚，而非简单截断丢弃。这有效驯服了训练过程中的不稳定性。

• 技巧叠加带来的性能爬坡

• 基准起点（朴素 GRPO）：30%。
• • 不对称裁剪：36%。
• • 过长过滤：38%。
• • 软惩罚：41%。
• • 词元级损失：42%。
• • 动态采样：50%。
• 最终 50% 的准确率甚至超越了当时 DeepSeek-R1 蒸馏到 Qwen-32B 的结果。这说明，在同一个模型上通过精心的 RL 工程优化，能够榨取出比简单蒸馏更强的性能。

01:00:25 DAPO 的 RL 修炼观

本节重点

• RL 中需要同时监控的三大指标：响应长度、熵、奖励全对率
• 损失函数只是成功的一部分，动态监控与调控才是稳定训练的关键
• RL 与 SFT 的实践选择指南

详细精要

• RL 训练的三大关键指标与应对措施
• 平均响应长度：如果出现爆炸式增长，则说明模型在输出大量无意义内容，需启用词元级损失和过长惩罚控制。
• 熵：太低表明模型失去了探索能力，陷入局部最优，需通过不对称裁剪来激活。

• 奖励全对比例：反映当前 batch 内信号饱和度。若比例过高或过低，都意味着采样中缺乏有效差分信号，需启用或调整动态采样。

• SFT vs RL 的应用哲学

• 何时用 RL：当你拥有强大且不易饱和的奖励信号，需要模型在少量数据上“爬坡”，并希望激发其推理潜力时。RL 能让模型在正确的引导下自我探索，但它极其依赖细致的工程（如 DAPO 所示）。

• 何时用 SFT：当你已经坐拥海量高质量标注数据，需要一个更快、更直接的方式来固定某种行为模式时。SFT 不能凭空创造复杂的多步推理能力（或增幅有限），但实施成本低，是构建良好基础对话能力的有效手段。

• 追问：为什么会思考的模型仍不能解决全新问题？

• RL 本质上是让模型在它已有的知识空间内进行更优的搜索和路径选择（如回溯、自我纠正），这能强化对已知模式的应用，但并不能让模型凭空习得超出其预训练知识边界的概念或逻辑（正如数学中未见过微积分就不可能推出微积分公式）。这解释了为什么当前技术只提升 Majority@K 而未改变 Pass@K。

01:03:03 技术总结与未来展望

本节重点

• 三种技术栈的对比总结：STaR、GRPO、DAPO 的适用场景
• 三大技术的共同收益：格式化、一致性、多数票性能
• 尚未解决的根本性挑战：Pass@K 突破与泛化

详细精要

• 技术选择路径图
• STaR：无 RL 基础设施，仅有少量推理示例，问题相对简单（如 GSM8K）时，可快速引导模型展现推理。
• GRPO：已有不错的基础模型，有适量指令数据，能获得有限 GPU 内存，适合标准数学推理任务。

• DAPO：问题极难，推理链极长（如 AIME、IMO），追求 SOTA 时，必须投入资源精细控制 RL 训练的所有变量。

• 三者共通之利与未达之弊

• 改善：答案格式化更准确、模型在多步推理中更连贯、Majority@K 显著上升。

• 未改善：模型的根本性能力（解决未见过的全新难题）、Pass@K，以及广泛的域外泛化。这表明闭环训练目前仍是在基础模型的玻璃天花板下进行优化。

• 关键开放问题

• 为什么 Pass@K 不提升？ 模型如何实现从“一致性”到“创造性”的跃迁？
• 推理行为是涌现还是放大？ 回溯、自评估等行为是 RL 新教出来的，还是预训练中本就存在、仅被 RL 强化了统计显著性？
• 如何从负样本中学习？ 当前主流技术仍粗暴丢弃失败案例，缺乏有效利用失败信号的方法，这可能是突破能力边界的关键。

💬 精华片段（中文）

"None of these will yet improve the fundamental capability, or just teach the model to solve new problems, or generalize a lot out of domain."

“所有这些技术目前都还无法提升根本性的能力，或者教会模型解决新问题，或者大量地进行域外泛化。”

01:08:20 课堂总结与未来方向

本节重点

• RL 在整体训练计算中的占比趋势
• 一个核心结论：模型能力边界受制于验证信号的质量
• 未来方向：数据、算法鲁棒性、多验证器融合

详细精要

• RL 算力占比与瓶颈
• 去年算力分配中 RL 可能仅占 1% 左右，如今增长至 ~5%。Grok-4 声称使用了 50% RL，但并未带来预期中的巨大飞跃。

• 瓶颈在于：奖励信号不够强、奖励存在噪声，模型可能“破解”奖励函数。这些现实问题限制了 RL 作为能力提升引擎的上限。

• 奖励信号的多维度挑战

• 仅在数学、代码等强验证领域易于爬坡。但在大量现实任务中，信号稀疏、不完美，甚至不可得。

• 应对策略：使用验证器集成（多个不同强弱验证器的组合）来填补单一验证器的信号盲区。

• 研究方向建议

• 数据维度：如何生成更高质量、多样化的训练轨迹？
• 算法维度：如何让 RL 对奖励噪声更鲁棒？什么样的奖励形式最优？
• 融合维度：如何将 STaR 的理性化技术与 DAPO 的长链 RL 结合起来？
• 这些问题都被作为课程项目的灵感源泉呈现。

---

专业术语注释

术语	解释
Train Time Scaling（训练时扩展）	在训练阶段使用模型自己生成的输出（经过过滤）进行微调，形成一个闭环，以改进模型性能。
Test Time Scaling（测试时扩展）	在推理阶段通过采样多条思路、投票、回溯等技术提升回答质量的方案，不改变模型参数。
STaR（Self-Taught Reasoner）	“自我教导的推理者”，一种通过从少量示例自举，迭代生成并过滤推理链来微调模型的方法。
Rationale（推理链/理由）	模型在输出最终答案前，展示的一系列中间推理步骤。
Rationalization（理性化）	给模型提供正确答案作为“提示”，让它逆向生成能导向该答案的推理过程。
AIME（American Invitational Mathematics Examination）	美国数学邀请赛，一个高难度的数学问题基准，用于测试深度数学推理能力。
GSM8K	一个包含约 8.5k 小学阶段应用题的数据集，常用于评测基础数学推理。
CommonsenseQA	常识问答基准，包含多项选择题，要求模型理解日常场景与实体关系。
Pass@K	对同一个问题生成 K 个解，至少有一个正确的概率，衡量模型搜索最优解的能力。
Majority@K	对同一个问题生成 K 个解，多数投票结果为正确的概率，衡量模型输出的一致性。
PPO（Proximal Policy Optimization）	近端策略优化，一种常用的强化学习算法，通过限制更新幅度来稳定训练。
GRPO（Group Relative Policy Optimization）	组相对策略优化，DeepSeek 提出的 RL 变体，用组内奖励标准化替代 Critic 网络，节省内存。
Critic / Value Model	在 Actor-Critic 架构中用于估计状态或状态-动作价值的模型，GRPO 中将其移除。
Advantage（优势函数）	在 RL 中表示某个动作相对于平均水平的“好度”，GRPO 通过组内标准化估计该值。
Entropy（熵）	在 RL 中指策略输出概率分布的均匀程度，高熵代表模型探索性强，低熵意味着策略过于自信。
KL Divergence（KL散度）	一种度量两个概率分布差异的指标，常用于 RL 中惩罚新策略与旧策略的偏离，防止遗忘。
DAPO（Decoupled Alignment with Partial Observability）	一套针对长链推理 RL 的稳定化技巧集，提出不对称裁剪、动态采样、词元级损失等方法。
Dynamic Sampling（动态采样）	过滤掉奖励全对或全错的组，只对具有混合信号的组计算梯度，以维持有效学习。
Token-Level Loss（词元级损失）	将损失计算分配到每个输出词元，以避免过长序列在训练中获得不成比例的权重。
SFT（Supervised Fine-Tuning）	监督微调，用标注数据直接训练模型，速度快但难以激发超出数据分布的强推理能力。
Distillation（蒸馏）	利用大模型生成的输出来训练小模型，使小模型获得接近大模型的性能。
Verifier / Reward Model	验证器或奖励模型，用于对模型输出进行评分（如0/1或连续值），为 RL 提供训练信号。

---

延伸思考

• 从失败中学习如何突破能力天花板？ 当前主流方法对负样本直接丢弃，但人类的进步往往来自对错误的反思。能否设计一种机制，让模型从它失败的推理中（而非仅从正确答案中）提炼出“为什么不正确”的模式，从而真正扩展其认知边界？
• 奖励信号的工程与哲学：当模型足够强大时，它可能会学会“欺骗”奖励模型（reward hacking）。如何构建多层次、难以被破解的验证器（如结合符号解算、形式验证、执行反馈）来支撑更长期的 RL 爬坡？
• 推理是涌现还是放大？ 模型表现出的自我回溯、交叉验证等高级推理行为，究竟是在 RL 训练中被新诱导出的策略，还是原本就存在于模型的权重空间中，只是被 RL 给予了更大的采样概率？这对设计未来算法有根本性的指导意义。
• 训练时扩展的 ROI 与规模化：Grok-4 声称投入 50% 算力于 RL 却未获预期飞跃，这暗示 RL 回报可能呈 S 曲线。在不同的模型规模和任务上，如何动态量化训练时扩展与测试时扩展之间的最佳算力分配，是一个迫切的工程问题。
• 泛化的最后一公里：即使模型在 AIME 上达到人类金牌水平，其推理模式能否迁移到法律条文解读、科研假设生成等非公式化领域？如果不可迁移，我们是否真的在构建“智能”，还是仅仅在特定频段上优化了模式匹配器？

原文发表：无  ·  纪要生成：2026-08-05