来源： Invited Talk 02 · Mengdi Wang 播客： ICML 2026 · AI4Physics 分类： 科学 原文发表： 2026-07-11 纪要生成： 2026-07-13
沿"用强化学习扩展科学与工程"这条主线，从 MDP 复杂度理论讲到分层 RL 的 ReasonFlux，再到一系列会"动手"的科学 agent（CRISPR-GPT、Biomni、纳米制造 agent），最后落到核心痛点——科学的可复现性危机与"缺乏可验证环境"，提出用智能眼镜（XR）把实验室变成 AI 可见、可交互、可审计的可验证环境（LabOS）。
大问题：如何用强化学习扩展科学与工程的智能？ RL 已是扩展智能的核心方法论。普林斯顿 AI Lab 发起 AI for Accelerating Invention 计划，目标是用大型基础模型帮助、赋能科学家、加速已有工作。
后训练本质上是控制并优化大模型逐 token 解码过程：解码是一个完美的马尔可夫状态转移系统——状态可取"前缀"或"前缀+prompt+历史"，模型内部随机性决定下一个 token，转移策略由 transformer 各层权重决定。只要有 reward/cost 函数，就能用 RL 优化以最大化奖励、满足要求。
她任助理教授时花 6 年研究求解 MDP 的信息论样本复杂度。结论：有限状态 S、有限动作 A、误差容限、折扣因子下，存在一个极小极大最优（minimax optimal）的样本与运行时复杂度公式，是 PAC 界、也是最坏情形界（总存在实例需要至少这么多工作量）。核心教训：训练 AI 推理即求解 MDP，其状态空间约等于"响应中所有 token 序列"的空间；若要 AI 深度推理、解科学问题，需要它"想得深"，则状态空间 S 随思考深度指数增长——这就是推理为什么难（复杂度受维数灾难支配）。这也是为什么如今训练基础模型超过一半算力花在训练模型推理（即 RL）上。
理论上悲观，但实践中有 hack。约 18 个月前，团队用极少算力训练语言模型解数学题，性能匹配 o1-mini，大致与 DeepSeek R1 发布同期（第一个推理模型），当时是惊人结果。做法是分层强化学习（hierarchical RL）（机器人/复杂控制系统里常见）：把问题拆成两层，只在抽象层训练模型推理。近两年前起，先 curate 一个思想模板库（thought templates），每个模板像一条数学引理/技能；训练模型只要在抽象层正确给出模板序列即可（抽象空间复杂度小得多，因此能用高效算力/数据训好推理）——这套叫 ReasonFlux。推理时用两级 agentic scaffold：高层先把输入问题拆解、配置一条空模板轨迹，下发给低层；低层是一个 base model（相当于已拿到高层指示的"学生"），填充每个空模板的细节；最后把各实例化模板串起来得到最终解。此法现已被多领域用于"以结构化先验知识训练模型推理"。
数学有大量结构化数据集（题-答、定理-证明），但生物/化学没有。团队搭了数据管线，把科学讨论转成可训练的结构化数据：选取一个已存在 12 年、>10000 帖、开源的 Google 讨论论坛（全球生物学家讨论基因组工程前沿技术）。这些讨论不是教科书知识，而是真实排障——"我跑了这个不 work，plasmid 好像不工作，怎么办"，然后波士顿的另一位科学家跳出来给建议。管线解析帖子、抽取问题、大量 curate/filter，最终得 3000+ 高质量条目（反映科学家如何摸索新技术、如何排障与验证）。再用分层 RL：组装多个模型 + 顶层 router，端到端训练两级架构，显著提升 AI 在基因组学的理解与推理（能基于从科学讨论中学到的知识做真实科研排障）。
两年前启动、2025 年发表于 Nature Biomedical Engineering，是团队做的第一个 agent。CRISPR-GPT 能自动化基因编辑研究几乎所有主要环节：从假设 → 实验设计 → 调用不同工具 → 搞定 pad/plasmid → 指导人类研究者 → 完成数据分析。构建方式是用状态机包裹大模型解码过程，把长程实验设计问题化为"配置并串联一串状态机、每个状态机科学地推理完成子任务"。它是世界首个经临床与实验室验证的生物 AI 科学家：首次实验验证中，同事在一项肺癌研究里测基因编辑敲除，所有靶点 90% 编辑效率；后又用于阿尔茨海默病、药物靶点筛选。发布后收到全球生物学家 1000+ 邮件咨询。
科研最难的不是 chatbot，而是真正的发现与验证过程。要让 AI 自我改进，需要可验证环境提供反馈——而科学恰恰没有。科研（尤其实验研究）不稳健：一项调查显示多数科学实验不可复现——生物医学领域 >70% 实验无法复现，其中一半连原作者自己都复现不了；每篇 Nature 论文可能耗掉几个研究生全部工作和数百万美元投资，却不可复现。化学、生物、物理、材料、医学无处不在。对比之下，AI 进步快是因为其本质是编码——任何程序都可编译、验证、debug、看 log 回溯错误；而科研完全是开环（open-loop）的。90% 癌症研究在晚期临床试验阶段失败（尽管前期数据看似完美），数十亿美元打水漂。原因：整个发现研究过程未被数字化、开放式、粗放、极易出错。今天做科学的方式和半个世纪前差别不大。
一个简单的 fix：AI-XR co-scientist（XR = extended reality，扩展现实）。用智能眼镜作为数字世界与物理环境中人类研究者之间的接口——在眼镜上建 AI 系统与 app：每个环境变化 AI 都能看见，人的每个动作 AI 都能看见，反过来 AI 通过显示/音频给出指令、指导研究者。这样人和 AI 通过 XR 设备协作。实时捕捉第一人称（egocentric）数据，重建 4D 可动作环境，追踪实验中的科学对象。
Q1（Garrett Kunda，Los Alamos National Lab）： GenomeBench 用科学讨论训练，是否受偏差影响？基因测序有专有信息，公司用 NDA 约束科学家，讨论未必是"真讨论"、有边界条件。 A1： 该数据源是开放讨论论坛，参与者基本是大学教授或国家实验室研究者，在我们工作的范围内没遇到与专有信息相关的问题，是真正开源的讨论；但完全同意若将系统部署到真实工业界，这会是大问题。追问：受 NDA 约束者无法参与，即便开放也会因"谁能参与"而有偏。答：当时基因组工程刚被发明，积极讨论/回答问题的人正是发明该技术的科学家；药企当时甚至还不会用基因编辑。
Q2（Yannis Kevrekidis，DARPA / Johns Hopkins）： 你讲到思考发生在高层——结合几天前那篇 Anthropic 关于"global workspace（全局工作空间）"的文章，你说的高层概念交互如何与之契合？ A2： 各前沿实验室都会造自己的科学 agent，并雇很多我们的博士生甚至青年教师去标数据，这是无论我们怎么想都会发生的趋势；学界应思考如何保护自己的数据。而且真正的发现发生在人带来"火花"、发生在实验室——在计算空间里造 agent 有其上限（ceiling）。她澄清团队做的是实验室自动化，并未在"量子空间里做推理"；许多前沿实验室在雇物理学家做那件事，拭目以待。（随后主持人致谢，接短暂休息。）