来源： Invited Talk 04 · Niao He 播客： ICML 2026 · AI4Research 分类： AI 研究 原文发表： 2026-07-10 纪要生成： 2026-07-13
分享 ETH 上学期一门"AI 辅助优化研讨课"的实验：让约 35 名零优化基础的本硕生分组、配导师、用 AI 工具去攻真实开放优化问题——结果出乎意料地在 9 题中解出 3 题（并 Lean 验证）、2 题实质进展；由此提炼两组洞见：研究侧（优化因结构清晰、可形式化、有丰富证明模板，是"建城堡"式的有利试验场；AI 擅长跨域联想与套用证明模板，但产出冗长、缺简化、简化能力正是学生与专家之差）与教育侧（开放问题 + AI 是一种"自上而下""强化学习式"的主动学习/富有成效的失败（productive failure）新范式，新瓶颈变成问题设计）。
Niao He 的背景在优化 for ML。动机很直接、也呼应前几场：AI 辅助数学研究进展迅猛，优化领域亦然——过去约半年，明确报告"AI 辅助进展"的优化论文大增，覆盖分析加速方法、寻找凸松弛等广泛主题。但这些研究里参与的人几乎都是优化领域的专家。
她提出一个不同的问题：如果参与者只是零/极少优化训练的新手学生（本科生或早期硕士生）会怎样？具体两问：
为此她们上学期设计了一门项目制实验课 AI for Optimization Seminar。设计原则：学生注册后分成小组，每组从提供的一长串未解开放问题中挑选，并配一位导师（通常是已有若干发表、正活跃于该题的资深 PhD 或 postdoc）；整学期让学生用 AI 工具探索证明思路、形式化问题、做 Lean 验证、反复迭代求解；最后交一份充分文档化的报告，由一两位导师核验证明/解，可行时也做 Lean 验证。
什么算研究进展：给出经验证的完整正面结果；或给出负面结果/反例；或缩小理论 gap 的部分结果；或提出作为中间步骤的有意义子问题——只要精确、非平凡、可验证都算有效进展。学习目标：学生借此建立优化基础知识，能重建并掌握理解开放问题所需背景、难点、可能路径，把问题分解为小引理，并能审计 AI 生成的论证（猜想、假设、失败模式），从而能解释、质疑、辩护其最终结论。
为何选优化：一是选择偏差（她的组做优化）；二是优化是极佳试验场——她们提供的开放问题多形如"给定一类问题/一类算法，分析其收敛行为（上界、下界或最优率）"，这类问题良定义、结构干净、目标可形式化、且文献里有丰富证明模板。她比喻为"建城堡（building a castle）"：有坚实地基（问题类可由 convexity、smoothness 等不等式公理化）、有强工具（descent lemma、对偶等丰富证明模板库）、且上下界证明常有紧凑证书（如用 SDP/半正定）。这使该设定相对 tractable；虽未必适用其他领域，但原则也延伸到统计、数学等邻近域。
实验规模：为期一学期（今年 2 月至 5 月，约三个月），约 35 名计算机系学生（18 本科 + 17 硕士），都受过 CS 训练、有线性代数/微积分/概率/编程基础，但多数没上过任何一门优化课（可能在 ML 入门课听过 SGD 之类，但从没见过理论分析）。所有开放问题来自导师的活跃研究或领域内知名开放问题，均具体、明确；学生可用任何能拿到的 AI 工具（GPT、Gemini、Claude 或其他 agentic research pipeline）。
原本设定很有野心，她们并不期望学生做出实质研究进展（毕竟连优化入门课都没上过）。结果相当意外且有趣：在最终选定的 9 道开放问题（覆盖随机优化、隐私优化、加速等）中——3 题被解出并验证（由学生、导师验证，且多数还做了 Lean 验证）；2 题取得实质进展（如在更受限设定下证明、或证到单侧性质）；4 题仍开放（有些从负面结果中得到教训，但未根本解决或取得进展）。多数题都围绕"在某结构假设下分析某算法的上界/下界/最优性"。
Heavy ball method 是最基础、应用极广的优化算法之一（其变体广泛用于训练 ML 模型，如 Adam 等），即梯度下降加动量项。已知它对二次函数能取得优于梯度下降的加速率；但对更广的光滑且强凸函数类，能否仍加速并不清楚。
近期一组法国研究者形式化地证明：在至少二维时，heavy ball 无法在整个光滑强凸函数类上一致取得加速率——他们通过构造一个二维函数，使 heavy ball 迭代在单位根（roots of unity）上打转（cycle）。她评价这个 2D 构造"非常漂亮"：构造单位根、再插值这些点与梯度以反推出右侧那个函数，使 heavy ball 在其上循环。
自然的开放问题：一维情形会怎样？（同一批作者去年在 arXiv 上也把它作为开放问题提出，她们采用了更简化的版本。)难点在于:之前的 2D 例子重度依赖旋转对称性，而一维只有实数轴、没有这种对称性，构造不再适用。
经过整学期用 AI 工具反复摸索，学生给出了正面结果：这个二维的"非加速"现象并非二维专属，一维也持续存在——即存在某一维强凸光滑函数，使 heavy ball 也会 cycle。关键直觉主要来自学生与导师在与各类 AI 模型交互中建立（事后看也不太难）：不去直接构造 1D cycle，而是从 2D 单位根 cycle 出发，投影到一个坐标上，再重建一个插值该投影 cycle 及对应梯度的函数，即可证明循环行为；细节归结为如何找这个旋转、如何定函数参数、如何解涉及的插值等式——而这基本由 AI 完成。
AI 工作流：学生把子任务与直觉喂给 AI（此例主要用 Claude Opus 4.6）生成想法、生成证明、跑实验测试，迭代进行，并用一个 GitHub 仓库作为团队共享记忆记录历史，最终由学生自己验证。
观察：AI 擅长在不同领域间建立联系——本例中 AI 建议用复数与离散傅里叶变换（DFT）分析算法，这不是优化研究常见工具，没有跨域扎实背景的学生很难自己想到。另一面（呼应 Gehrunger）：AI 生成的证明冗长、过度复杂，此题轻易生成 20–30 页证明，需大量人工简化。学生与专家研究者的差别正在于简化能力：本例中活跃于该领域的导师两天内把 20 页简化到 5 页、干净可读。还有一个巧合：她们向原开放问题作者提及结果，发现作者也在同一时间用 GPT-5.5 解出了同一问题（约 5 月 GPT-5.5 发布后）——专家用更有效的 prompt 与引导甚至能一次解出，而学生花了 3 个月更长的路径。但要点是：学生 + AI 工具能触及前沿研究。
第二个案例聚焦上界、分析上界函数。看 Nesterov 加速梯度法（与 heavy ball 略不同）：已知它不仅对二次、也对任意强凸光滑函数取得加速率。文献中的自然开放问题是：能否放松强凸条件、允许非唯一极小点？因为很多 ML 模型的极小点并不唯一。人们一直探索局部 PL 条件（放松强凸、允许函数非凸且有多个极小点）——大量 ML 工作已验证过参数化方法满足此类条件。
优化侧已知：近期一篇论文（她称"a code paper"）表明，一般情况下、任意初始化时无法加速；更近的两位研究者证明，若把极小点流形限制在一个线性子空间，此特例下可加速。自然的问题是：在更广的类（极小点流形不必线性、可是一般流形）里能否加速？难点是一般情形下极小点流形可能弯曲、非线性，很多经典分析失效。
借助 AI（她说证明基本由 AI 完成），学生证明：只要初始化足够接近解流形、且解流形曲率有界，该算法仍能加速。直觉很几何、来自 AI：只要两个迭代都足够靠近流形，它们在切空间上的投影也不会离太远，于是可局部把弯曲流形近似为仿射流形（差一个切向平移误差）；全部分析归结为分析这个由曲率诱导的误差项、再与已有分析结合——这些也都由 AI 完成。
AI 工作流：为每个子任务分配一个 Lean AI agent 逐步验证并给出证明，最后迭代精化结果（改进常数、拿到更好的率，直到常数因子）。
观察：AI 擅长改编已知证明模板并推广到新设定（这也常是 PhD 早期研究者在做的事，但这里本科生 + AI 也做到了）。学生也报告：AI 提出大量候选证明、很多是垃圾，主要工作是用 AI 工具或干净验证把少数有用的筛出来，再据此少数候选想法做分析。又一个巧合：本周备课时她们注意到 arXiv 上另一篇并行工作用很不同的方法解了同一问题，作者是更资深的优化研究者、未声称使用 AI——再次说明学生 + AI 能触及前沿研究。
跳出两个案例，她给出各项目共用的通用工作流——AI 承担多重角色：
人的角色仍不可或缺：设定研究子任务、判断输出、解读最终结果、验证一切——是AI 与人协作的工作流。
也有若干项目未得正面/负面结果。规律：当开放问题本身缺乏清晰的中间证书（intermediate certificate）时学生易受挫（如某些问题无法通过 blow-up 函数或硬实例来处理，就没有清晰的中间步骤可做）；当验证/反馈稀疏时也更难（有些问题能做 Lean 验证，但很多问题——如任务型设定——缺乏足够的库支持，学生得不到多少反馈，就更难、需大量其他专业知识）。
学习目标层面：课程制学习 vs 项目制学习有显著差异——一个偏自下而上（bottom-up）、一个偏自上而下（top-down）。传统自下而上：学生上大量不同主题的课、积累所需知识，最后测他们解与已有知识大致对齐的问题——类似监督学习（训练/测试分布相近）。项目制则相反：学生在未见全貌时进入开放问题，被要求解明显不匹配当前知识、更难的问题，必须尝试去解以进行学习、学习又反过来帮助解题——从 ML 视角更像强化学习。她强调两种模式都不应互相替代：仍需打基础，但机会在于把自下而上的基础与自上而下的发现相结合；在当下 AI 时代，项目制学习更 tractable、更可行、更可扩展，应善加利用。
她反复观察到：AI 显著降低学习门槛——不只是情感门槛（学生能反复问很基础的问题不尴尬），还有认知门槛（学生能问大量直觉、解释，这在其他情况下不可能）。尤其对开放问题格式，这有助主动学习：教育学里"持久学习通常需要主动投入"，而在开放问题设定下，学生从一开始且始终倾向于不信任 AI 的输出、总在批判、理解、验证——这正是主动学习发生之处。
注意事项与"富有成效的失败"：开放问题式教育需要良好的期望对齐——很多问题是否可解未知（连 PhD/领域研究者都不确定），学生解不出时可能沮丧，这与"只要够努力就能解"的传统教育契约不同，需不断提醒他们"解不出 ≠ 学不到"，恰恰相反——解不出有时对学习更有成效。教育界有个广受认可的概念 productive failure（富有成效的失败），而"开放问题 + AI 辅助项目"天然提供了 productive failure 的设计，值得学界未来认真考虑。
可持续性：开放问题一旦被解就变成封闭问题，很快会缺乏有意义的开放问题；要让这种"开放问题驱动的教育/研究"持续，重要的是能训练学生与 AI 系统去生成新问题，使之可持续。
Q1（听众）： 你们是否对传统学习目标做过评估——像优化课通常会有的考试之类，评估方式是什么、结果如何？ A1： 很好的问题，这正是我们计划要做的。目前主要通过问卷——一组问题问学生是否觉得自己更懂优化了。但更合理、更有意思的评估应是用具体问题测学生、看他们是否真掌握了这些基础，这是下一步，是很好的建议。
Q2（听众）： 你中途提到导师需要简化 AI 生成的过度复杂证明。那你们有没有把这些（简化后的证明）当作 few-shot 示例，让 AI 把输出对齐成更"人类式"的证明？ A2： 好建议。我不认为当前模型有生成优雅证明的能力，这更像是个较主观的东西；但这确实值得未来研究——构造大量"把复杂证明转成简单证明"的数据，训练大模型获得此类能力，值得追求。（随后主持人宣布午餐与 11:50 起的 poster session。)