来源： Invited Talk 03 · Ludwig Schmidt & Steven Dillmann 播客： ICML 2026 · AI4Physics 分类： 科学 原文发表： 2026-07-11 纪要生成： 2026-07-13
不是"完成工作的展示"，而是一次向社区发出的贡献号召：延续 Terminal-Bench（89 个终端编码/系统任务、已成前沿实验室标配 benchmark）的成功，Terminal-Bench Science 要由领域专家贡献约 100 个"来自真实科研的、可程序化验证的、足够难的"计算工作流任务，用集装箱化环境评测 AI agent，让科学家直接塑造 AI 进步方向，推动"Claude Code for science / Codex for science"时刻。
过去几年我们主要通过 chatbot（ChatGPT、Claude、Gemini）与 AI 交互——单轮、文本进文本出、答案相对好核对。但 2025 年 Anthropic、OpenAI 等发布了更强的编码 agent（Claude Code、Codex），它们不只回答，还替你干活：制定计划、写大型代码库、执行复杂多步工作流。为 agent 设计 benchmark 远比 chatbot 复杂：要考虑 agent 与环境交互、能调用各种工具、多轮交互、需要更复杂的正确性测试。过去一年这些 agent（尤其在软件工程/编码）大幅变强，而这些进步很大程度由严格评测驱动——例如 Terminal-Bench。
评测 agent 在 89 个复杂编码、系统管理、计算机使用任务上的表现。取名 "terminal"，因为这些 agent 是基于终端（命令行）在你的计算机上操作。它是巨大的社区努力 + 严格评审（反复检查、迭代保证任务高质量）而成，已有 3000+ Discord 成员、2000+ GitHub star，成为评测终端型 agent 的标准——每个前沿实验室发布新模型时都会报告 Terminal-Bench 分数（讲者展示了 Opus 4.8、Gemini 3.5 Flash、GPT 5.5、Grok 4.5、当天早上新发的 GPT 5.6、以及昨天 Meta 发布的 Spark 1.1 的截图，均把 Terminal-Bench 列为评测项）。
同样的方法，但瞄准约 100 个跨生命/物理/地球/数学科学的科学计算工作流任务。每个任务在集装箱化环境中评测、程序化验证（programmatic verification），最重要的是直接来自领域专家——目标是给科学家直接的话语权去塑造 AI 进步，推动所谓"Claude Code for science / Codex for science 时刻"。实现路径是一个良性循环：科学家把各自领域的真实工作流作为任务贡献进来 → 前沿实验室在 benchmark 上评测并改进 agent 的科学能力 → 更强的 agent 成为更有用的科学助手 → 反过来加速你的研究。
任务三条标准：
示例任务：重建 MRI 脑图（新影像任务）；虚拟药物筛选（观众 Aaron 贡献）；晶体学（crystallography）；复杂光子学（photonics，仍在开发，指令很长）。
所有任务遵循 Harbor task format。Harbor 是 Terminal-Bench 设计的一个框架/包，用于大规模在集装箱环境中定义与运行任务（讲者被听众打趣误听成"Harvard"，澄清是 Harbor）。每个任务含：给 agent 的指令、由 Dockerfile 与任何输入数据定义的环境；对 agent 隐藏的任务元数据/配置、验证测试（测 agent 是否正确达成目标）、以及作者提供的参考解（reference solution）（作为"任务确实可解"的 sanity check）。运行时 Harbor 从 Dockerfile 构建容器 → 把 agent 连同指令投进去 → agent 完成后 Harbor 把测试拷入环境并打分。
当前进展：共 266 个任务提案、119 个已实现为 PR、3 个已合并（仅是项目初期与密切合作者做的示例任务）；下周开始合并已过两次独立评审的当前 PR。讲者现场演示了任务提交 dashboard（QR 码可达）：可按领域筛选提案/已批准项；PR 页有"如何创建 Terminal-Bench Science 任务"的指南；提交后自动跑一批前沿 agent（Claude、GPT、Gemini 各 3/3 全解 → 判定"太简单" → 反馈作者"能否自然地加大难度")。他们为难度过滤，也会重跑 trial——有个任务首次提交因规格错误（misspecification）失败、发现 bug 后重跑通过率翻转到 100%，另一个原本 9 次只解 1 次、修 bug 后变 100%。Leaderboard 会在凑齐约 100 个覆盖良好的任务、benchmark 定稿后再跑一批 agent 发布。
参与方式：提交 PR 截止 8 月 17 日（之后仍有时间迭代，但因需数轮评审建议尽早开始）；一个合并任务即可成为 co-author；加入 Discord 社区，每周会议 9am PT，另有多个 office hour。呼吁整个 AI for physics 社区参与。
Q1（Michael Douglas）： 一是指令要够简洁又够难如何权衡；二是几乎每篇论文里都写有任务描述，能否用自动管线读论文生成任务？与这种自动生成的数据集相比如何？ A1： 两者都在范围内。对难度：先给最初指令跑 agent，若解不出、再通过给提示（如把论文作 context）看能否翻转通过率，据此判断够不够难。对自动生成：这与我此前做的 Replication Bench 相关——评测 agent 能否复现天体物理论文的数值结果（把论文里若干数值 mask 掉、看 agent 能否复现），但那时通过率很低（非前沿模型，现在未知）。不过我们并不想自动化任务创建——Terminal-Bench 的哲学是人（当然有 AI 辅助）来做、每次都打磨。
Q2（观众）： 你已读过很多任务，如何在这些任务上定义"100% 表现"？是人类表现吗？人类得分会低于 100% 吗？ A2： 用一批单元测试（unit tests）验证。举例系外行星发现：望远镜、恒星、行星，行星掩星挡光形成时间序列的凹陷；人类专家会先清噪、用 periodogram 找周期、相位折叠光变曲线、拟合 transit 模型、估一批参数——每个单元测试估一个参数（中间步骤也可要求 agent 保存）；所有单元测试通过才算成功，只要一个失败就判失败，即把分辨率降到 0/1。追问：生物等领域模型质量有多种度量、都不完美，怎么定义 100%？答：每位作者自定义度量；有两名独立评审（一名领域专家 + 一名熟悉 Harbor 格式的技术评审），两者都通过才合并。（John 补充：作者必须用代码定义解、必须能 build，作者解也是 100%；可设阈值，但必须做到 agnostic，并非所有问题都合格。）
Q3（Eun-Ah Kim / Una）： "难"不好定义，难可以有很多原因。科学家最终想做的是"我们不知道怎么做、也不知道答案"的事——那类因无法验证而出局；还有"能验证答案但不知怎么走到答案"的——似乎也出局；在"游戏内"的是我们大致知道怎么做、但又没被论文完全写死、更像研究者日常做的事，对吗？ A3： 是计算工作流；非常标准的工作流大概太简单，反而niche（小众）任务对当前 agent 更难。对"能验证但不知怎么走到"的任务，理论上也可纳入（如数学里的自动形式化证明就是一种验证方式）；有位贡献者设计了一个没有人类能解、但可验证的巨大任务——这是需要讨论的灰色地带。