来源： Invited Talk 02 · Samuel Stanton 播客： ICML 2026 · GenBio 分类： 科学 原文发表： 2026-07-10 纪要生成： 2026-07-13
从"我们如何一起做科学、最终想完成什么"退一步反思：benchmark 一造就被模型饱和，而"复现（recapitulation）不等于发现（discovery）"；他用一周时间在 Claude Science 里对本 workshop 的 oral 论文做真正的"后续发现"作为案例，提出一种以"真发现"为目标的新型评测范式，并论证科学因需不断创造新标准、而自动化又必须以标准化为前提，故科学不可能被完全自动化，人类在科学中仍有不可替代的位置。
Stanton 说本讲不谈"我们造来做科学的系统"，而是退后一步，思考两个他（相信也有听众）一直在想的问题：AI 真的够格做科学了吗，还是我们在自欺？如果够格，科学里还有我的位置吗？
他给出一张"benchmark 饱和"的幻灯片：其目的不是罗列所有值得跑的 benchmark，也不是裁定谁在某一刻拥有最好的模型，而是呈现一种大家都切身感受到的现象——我们造 benchmark 的速度，赶不上模型饱和它的速度。每次系统化一种评估/评分方式，很快就被推满，只好再换新的。问题是：新的数字该是什么？
核心批评是"recapitulation is not discovery"：审稿（review a paper）不是发现；设一个 training cutoff、看能否复现过去发生的发现，也不是发现——因为你已经知道答案、知道系统何时成功。
他类比过去约十年的分子设计 benchmark 历程，指出科学智能体的评测正沿相同轨迹：
科学智能体的 benchmark 呈现同样进程：从能否复述已被接受的公开知识，到复现实验室 protocol、跑生信 workflow、复现整篇论文——但据他所知，我们仍未严格测试"它们能否做出发现"。这正是本讲要谈的。
科研目标其实很简单：理解并塑造我们周围的世界（understand and shape the world around us）。关键在于——总有一刻，"我们用的系统"必须退居幕后，焦点变成世界本身。他强调这不是问"最佳 agent 架构是什么""延迟与准确率如何权衡"，而是问关于身体如何运作的问题。
他给出跨越生物学各尺度的例子：
他主张这能被严格研究，只是我们还没试：所需的只是实验的标准化——智能体被允许回答的问题库是什么、能用什么工具、如何评估输出。为何现在就做？因为模型已经很好，而我们却在不断造更精巧的谜题、等一个"许可"再让它们真正做发现——不如直接去做我们真正想做的事。
Stanton 自称长期做 lab-in-the-loop 与黑盒优化、"喜欢闭环"，于是给自己一周时间：在 Anthropic 新的科学智能体框架 Claude Science 里建多个 session，把本 workshop 的 oral 论文各放进一个独立 session，接上计算集群、给网页访问与 code sandbox，问：能否此刻、在这个 workshop 上，对这些 workshop 论文做出后续发现？ 他向作者们致谢，与每位作者通话讨论其工作，方向从"怎么做机器学习最好"转为"我能否学到关于世界的新东西"。他昨晚计时，三篇论文各需约一小时才能讲完，故只详讲一篇，但自认在三篇上都到达了主观上很有趣的地方。
选中的论文（不剧透过多细节）发现有 26 篇论文使用 MassSpecGym benchmark，其中若干有错误，数据集本身也有问题（尤其是 split），作者做了发现并修正底层数据集这类"无名英雄"式工作。
质谱（mass spectrometry）原理其实很简单：把分子打碎、称各碎片的重量；而且可以反过来跑——对未知分子打碎、称碎片、拼回原始结构，这个反推任务叫 structure elucidation（结构解析）。
他不问"最好的质谱 agent 是谁"，而是细看这份被改进的数据集。测试集左侧按化学类别拆分，其中一类很有意思——萜类（terpenoids）。他和 Claude 训练了 benchmark 里最简单的基线 Fingerprint FFN（输入谱图、预测指纹，再在指纹库里按相似度排序；若正确答案在 top-20 即算成功）。按类别看、且只看测试集中与训练集相似度很低的分子：基线在多数类 alkaloids（生物碱）上表现很差，却在 terpenoids 上做得不错。
原因是谱图里有一个许多萜类共享的特征——m/z 203。它从何而来、萜类结构里的什么在产生这个特征信号？教科书机制是 RDA（Retro-Diels-Alder，逆狄尔斯–阿尔德），其适用前提是存在带碳碳双键的环。但右侧那个分子里没有带碳碳双键的环，信号从何而来？在文献的另一角落有第二种机制——stepwise cationic（分步阳离子）机制，步骤更多、但不要求带碳碳双键的环。而且在测试集萜类范围内，另一个特征 ring CH3 count（环上甲基数） 对 m/z 203 碎片产率的预测，竟优于教科书机制 RDA。他强调：这不是宣称发现了新机制，而是"如果只盯着谱图、你未必会想到它"——这很重要，因为质谱越来越多地被用来判定我们遇到的物质由什么构成、如何组装。
这仍是观察性的，如何证明？他"像任何正常人一样直接问 Claude"，Claude 给出一个很简单的实验：取像 glaucanic acid（讲者口述，语音识别为 gluonic acid） 这样的分子，把碳碳双键氢化，把原分子与氢化后分子都跑一遍质谱，看 m/z 203 是否还在——这是明天就能在实验室做的实验。
到达该假设/实验，他走了一条曲折路径：从一篇 benchmark 论文出发，向 Claude 问"我们今天能学到关于自然的什么"这类很高层的问题；Claude 生成大量想法，但由他从菜单里选方向、看分析结果、判定是否满意。他说 Claude"太容易气馁"——遇到零结果就想"我们还能写一篇 understanding paper 嘛"，而他坚持"不写 understanding paper、不写元科学论文，我们要推出一个结果"。相比一年前，他不认为自己能完成这件事：Claude 在读文献、写并运行数据分析、重实现模型与基线、在集群上训练、跑推理、把勉强连贯的高层 prompt 转成具体假设与实验方面都极其强；连 Claude Science 里的 reviewer 功能在信息足够时也能很好地标记错误发现（当然，信息不足以判定的问题，没有 reviewer 或 verifier 能回答）。他的角色主要是设定高层方向：想要什么类型的结果、回答什么问题、哪些提案值得追、追多久后转向、以及何时判定"我们有了一个结果"。
由此他提出一种新型评测：类似 Adaptyv 竞赛但规模大得多、问题更有野心。一次合格"提交"至少应有五个要素：
如何评分：他承认很难但值得一试，维度可借鉴 NIH 评审基金或 reviewer rubric 时考虑的东西；过去难以规模化，但如今有大量 LLM grader 工作，可以真正试一试。要考量：significance（若发现为真，明天我会改变什么）、方法或发现是否novel、方法是否足以支撑该 claim 且执行正确，以及一个有意思的维度——该发现是否可用一个无需巨量资源、非常锋利的实验来判定。
关键点：自动化要求标准化（automation requires standardization）——在有"螺丝规格"之前无法自动化生产螺丝；因为自动化意味着你不会一直盯着它，你如何知道它仍在做当初设计它做的事？你需要一个输出标准去核查。而科学本身包含创造新标准，因此科学在做一件不能被完全自动化的事。
那么人类在未来科学中的角色？他给出四项永不会被夺走的伟大使命：
他还反驳 Ilya Sutskever 那句著名的"数据是有限的、像石油/化石燃料"：这是"只有计算机科学家才会说的话"——数据不需要几百万年才能生成，我现在就能通过在纸上写点东西来创造它；有限的只是我们当下创造数据的能力。
结论回到两问：AI 真的够格做科学了吗？科学里还有我的位置吗？——都是"Yes"。 结尾他发布一份 survey，想更好理解科学家如何选问题、判证据、决定何时算完成，欢迎参与。
Q1： 你展示的很多能力仍集中在更"工程"的部分——模型如何找到 bug、什么有效/无效，这在生物学式做科学中很重要；但当前弱点在于：模型更像"生物科学家做事的方式"，而非计算机科学中的 research scientist。程序、找论文小瑕疵它今天远强于一年前，但"整件事是否值得做、是否有一个真正科学的 story"这方面几乎没进步。你如何看待让这变得更好？ A1： 好问题。首先是基本的 value function（价值判断）弱点：任何时刻都有多个可追的机会、不知哪个会成，你对这些选项的评估决定了最终路径；若完全放手，它会选一条"看似合理"但通常与"你在盯着看时会选的"很不同的路。其次，资源管理（resource management）确实不太行——它本可以是更好的调度者/资源分配者（"这是你的算力、时间预算，拿去用"）。这两点是他最想让它变强的地方。
Q2： 你认为生物 AI 领域最重要、最该做的问题是什么？ A2： 短答是"没有正确答案"——那得是对你说话、你有燃烧般欲望想知道答案的问题。他会指回前面给的例子：生物系统如何运作，这在某种意义上是根本问题，依你看系统的哪一层而有不同版本。再补一点：workshop 提出的"如何在生物系统的涌现尺度间更好地推理（reason across scales）"很迷人——在药物发现里你根本躲不开它，必须从分子生物学一路走到生物体形态，不能装进盒子里说"我只想想分子"。