来源： Invited Talk 03 · Siyuan Guo 播客： ICML 2026 · AI4Math 分类： AI 研究 原文发表： 2026-07-11 纪要生成： 2026-07-13
从理论物理的"最小作用量原理"重新审视机器学习：把物理里三种等价表述（最小时间 / 拉格朗日作用量 / 哈密顿量）逐一映射到学习，论证学习动力学的"稳态解"对应的正是一个个学习算法（最优数据规划、贝尔曼最优方程、极大似然估计）。多数内容基于团队一篇 preprint（用拉格朗日视角看不同学习范式）。
问题：现代 ML 系统很强、进展飞快，但能否有一个统一原理解释其底层学习动力学？这个原理又有何含义？作者从理论物理的最小作用量原理（least action principle）切入。
动机来自当前 ML 与人类智能的三点差异：
因此需要从根本上理解智能。起点是一个单一假设：为何智能会发展？一个可能假设是——智能体与物种要在环境中生存，存在演化压力要求在有限时间内学会，即背后有"高效学习（efficient learning）"。当然智能不会只由单一原理支配，但从这个原理出发看能走多远。
若"高效学习"驱动智能体学习，那不妨从自然界取灵感：物理轨迹本身相当高效，且有文献支撑。
由此启发：能否设计一个"高效的信息处理引擎"？ML 模型正是这样的引擎——吃信息、处理信息、输出可度量的任务。
把 ML 重新看成"粒子轨迹"，先理解它在信息空间的运动，有两种：
于是中心问题：既然理解了信息空间的运动学、以及学习在泛化误差空间的运动，那么学习是否也遵循最小作用量原理？
经典力学有三种等价表述（对同一物理的不同表示）：最小时间；经拉格朗日量写的最小作用量；经勒让德变换的哈密顿量。作者逐一找"学习中等价于作用量/最小时间的目标函数"，并考察其稳态点含义。
(1) 最小时间 → 数据规划 用最小时间形式：物理里优化"从 A 到 B 的旅行时间"。学习里从"零数据（A 点）"出发，想到达"某误差阈值 δ（B 点）"，优化对象是走过的数据 s₁…s_t（有模型做信息处理、给出泛化误差；只要误差仍高于阈值就记为 1，即 heaviside 阶跃），求这个积分的最小化，使"在最短时间内达到设计的 B 点误差"。此处最短时间 = 最少样本（两条假设下：每样本信息量相近；引擎吸收信息相近）。
稳态点是什么？用线性回归玩具例：输入 ∈ ℝ^p、噪声期望 0 方差 σ²、输入均匀采样自单位超球面（范数为 1）、用普通最小二乘（OLS）估计。标准结果可解析算出泛化误差随训练/测试分布的形式；其最小值 = σ² + σ²·(参数量/数据点数)。达到它的关键：总能找到一列训练数据，使数据矩阵 XᵀX 满足特定条件。这是一个算法——对每个固定问题参数 p，都能算出最优轨迹（数据选择 x_n）。
与物理的差异：光走连续路径，而这个玩具例的最优路径非连续——每次仅加一个点时秩增加为 1，但要满足达到最小的判据，每次需加 m+1（对应 1/p 与该矩阵秩 p）。启示：要始终最高效地学习，需要"数据规划（data planning）"；该特定目标函数的稳态路径就是一个学习算法。
但泛化误差一般不可知、无法总做此分析——能否绕开？
(2) 哈密顿量 → 强化学习（已有工作） 经典文献里可以绕开：把优化函数里的泛化误差替换为"逐步奖励（stepwise reward）"（reward 减 reward），"最小化数据路径"就变成"选择动作以优化目标"。在确定性状态转移下（状态+动作→下一状态确定），优化下一步动作即优化下一状态。把它写成合适的目标函数：找状态与动作最大化 J（终端奖励累积 + 逐步奖励累积），受"下一状态确定性转移"约束——可写成带约束的拉格朗日量（含状态、动作、辅助变量 λ），求偏导对状态/动作/λ 保持为 0 的稳态解；重写为离散时间哈密顿量。经推导（λ_n 设为终端奖励梯度、λ_k 设为价值函数在状态 s_k 的梯度等，并代入），最终恢复出贝尔曼最优方程（Bellman optimality equation）——即 RL 中用各种神经网络优化贝尔曼最优方程，实际上是在拉格朗日情形下搜索稳态路径。这是经典工作；意义在于展示"把最小时间转成约束、用哈密顿量重定义、找稳态解，其解又是一个算法"。
(3) 拉格朗日作用量 → 极大似然估计 仍缺一环：前面用"在线泛化误差"换成"奖励函数"，而奖励是负拉格朗日量的改写——能否直接写出经由拉格朗日量（对时间积分动能与势能）的作用量？对神经网络学习：势能应是任务的内在属性（像粒子在某高度是其内在属性），"作用于学习的力"是我们施加的损失函数；于是"损失作为势能"较自然。动能是什么？需要含效率项。取灵感于 Cramér–Rao 下界（无偏估计量若达到 Fisher 逆即"统计有效"——方差减 Fisher 逆为半正定即达到）；把"统计有效性"放进动能，又因动能一般取二次型，作者提出一个作用量泛函：依赖一个标量场（标量取在损失函数上，随参数空间与时间演化，还加了"损失对数据的反应"分量）。于是拉格朗日量 = 动能（损失梯度转置 · F⁻¹θ 的统计有效项、以及 ∇_θ L）− 势能（损失函数），求其稳态解满足欧拉–拉格朗日方程（这里在标量场上）。经推导，满足该欧拉–拉格朗日方程的稳态点必是极大似然估计（MLE）。即：把神经网络学习看作"由损失函数定义、随参数与时间演化的标量场"，其作用量（经拉格朗日量）的稳态点又是一个算法——极大似然估计。
回答最初问题："能否把最小作用量原理迁移到学习拉格朗日量？"——三种表述逐一做了：最小时间做了第一例（数据规划）分析、拉格朗日量做了第二例、哈密顿量对应已有的 RL 工作。因此物理里的每个最小作用量表述，在学习里都有等价目标函数：经典力学的稳态点是运动的真实轨迹，而学习（拉格朗日情形）的稳态点是学习算法。物理里这三个目标函数是统一的（描述同一物理作用于不同对象）。开放问题：学习的这些不同范式之间是否也统一？其含义为何？
注：该场 Q&A 因 part1 切片在 02:30:00 结束而被截断，后续可能还有 1 个提问未录入本段（主持人当时说"还有时间再问一个"）。