AI4Research · Invited Talk 05 · Diyi Yang

来源： Invited Talk 05 · Diyi Yang 播客： ICML 2026 · AI4Research 分类： AI 研究 原文发表： 2026-07-10 纪要生成： 2026-07-13

基本信息

• Workshop：AI as a Tool for Mathematics, Computer Science, and Machine Learning (AI4Research @ ICML 2026)
• 类型：Invited Talk
• 题目：Beyond Autonomy: Human-AI Collaboration in Science（超越自主性：科学中的人—AI 协作）
• 讲者：Diyi Yang（斯坦福大学计算机系；研究 NLP 与 AI 多个方向；此报告为与学生 Chenglei Si（转写作 "Chen Lei"）及合作者 Tatsunori Hashimoto 的联合工作）
• 真实时段：约 13:15–13:50（KST，7/10）

一句话概括

以 NLP 领域"自动化研究"为镜做一次"望远镜式"现实检验：AI 生成的研究创意在评审中比人类 PhD 更被看好（更新颖），但一旦真正执行落地，AI 创意的评分显著下滑（"ideation–execution gap"）；把创意生成与自动执行接成 RL/进化搜索闭环后，能在 GRPO 后训练与 nanoGPT 预训练两个环境上刷到 SOTA，却暴露出"极端调参"与"多样性坍缩（只涨平均奖励、不涨最大奖励）"等新问题——最终落点是"研究的核心仍是研究者"，主张用 AI 做平庸研究、把人类的好奇心与品味当作真正的前沿。

背景与动机

数据即将见底，出路是"生产新知识"

开场用一张"训练数据量"的图：蓝线（训练 LLM 用的数据集规模）与"人类已写下的全部文本"两条线大约在 2027 年交叉（"基本就是明年"）——模型很快会读完人类写下的几乎所有东西。y 轴的量级是 10^15 token。Yang 用"披萨"打比方帮听众建立直觉（"大家刚吃完午饭"）：把每个 token 想成一整张披萨，10^15 张披萨可以覆盖地球表面两倍多、可以（每天吃一张）养活全世界超过 35 万年、也约等于你体内每个细胞分到 10 张。

结论：前路不是"读更多"，而是"发现新知识"——这正是我们所说的"研究"。围绕数学/编程的 LLM 热潮（去年 Gemini/OpenAI 模型拿到 IMO 金牌）、更广的 AI for science（AlphaFold 预测蛋白结构、AI 加速气候建模与预报、社会科学里造数字孪生与仿真）催生了极宏大的愿景：AI 能否帮我们几乎终结所有传染病、消灭大多数癌症、治愈各种疾患。这些是人类最大的开放问题——但看它们就像看夜空，很美很激励，却很遥远。本报告要给夜空"架一台望远镜"做现实检验，选择讲者最熟的领域 NLP：能否用 AI 自动化 NLP 研究本身？

聚焦科学方法的前两步

经典科学方法：观察/提问 → 形成假设 → 实验验证 → 分析结果 → 报告结论。本报告主攻前两步——LLM 能否生成新颖的研究创意（"如果创意不好，后面一切都不重要"）。分三条线：(1) 评测来自人类与 AI 的研究创意；(2) 不只评创意、还评创意执行后的产出；(3) 把 ideation 与 execution 接起来、用"落地 grounding"去自动化 AI 研究。

主要内容

线一：评测研究创意（2024 年的工作）

• 设置：围绕 NLP 会议里的若干真实 track——bias、coding、safety、multilingual、factuality、math、uncertainty 共 7 个主题。让 AI 与雇来的人类研究者（通过资格测试的美国 PhD 学生）各写创意。
• 创意的格式不是两句话，而是按研究计划书结构化：标题、问题陈述、动机、拟采用方法、逐步实验计划、测试用例示例、fallback plan（对熟悉 grant proposal 的人来说正是那一套）。
• 评审维度：novelty、excitement、feasibility、expected effectiveness、overall score，每项 1–10 分 + 理由。
• 系统（2024 年初搭）：让模型与 Semantic Scholar 交互生成创意，做 scaffolding，再排序去重。
• 参与者质量：平均发表约 12 篇论文、约 400 引用，来自全美各机构。特别致谢学生 Chenglei Si（转写作 "Chen Lei"）——他两年前在 NAACL 会场把招募二维码印在 T 恤上招参与者（Yang 曾在会场撞见一个"胸前印着自己脸"的人，其实是那件 T 恤上的二维码）。
• 控制混淆：人/AI 创意长度大体可比（AI 稍长）；人类评审的篇幅与真实会议评审接近。
• 结论（两年前）：在各条件下，与人类写的创意相比，AI 创意在 novelty、excitement 与 overall 上排名更高（这里的人类是 NLP 方向的初/高级 PhD）。这个结果"至少对我自己非常震惊"。
• 定性分析：AI 创意的优点是被认为很新颖、"用独特方式组合 A 与 B"、在相关工作里没见过；缺点是实现细节含糊、误用数据集、缺失/不当的 baseline、做不现实假设、太吃资源（"它们不知道学术界没那么多 GPU"）。
• 生成过程：每一批新生成创意里非重复比例递减；随着 agent 不断生成，累计非重复创意数趋于饱和（数据点在各主题上做平均）。

线二：评测创意的"执行产出"（去年的工作）

• 设置：把 AI 生成的创意与人类创意混在一起，雇研究助理每个创意做 2–3 个月（"就像你从导师/同事那接到一个创意去实现"），最终交出论文 + 代码库，再送第三方评审做同样评审。全程双盲——没人知道哪个创意来自人/AI；还引入第三方研究者，避免作者本人在过程中受影响。
• 因为当时编码 agent 还不够好，实现由人类完成（控制混淆）；且只做 prompting/harness 类研究、不涉及训练（训练放到线三）。人类执行者投入的时间"总体是不错的投资"。
• 核心发现：ideation–execution gap。看实现前后：人类创意评分基本稳定，而 AI 创意在实现后显著下滑（novelty、excitement、overall 都掉）。整个过程随机化、无混淆因素（分派创意时没人知道谁拿到哪个），做了大量混淆与统计分析，差异成立。
• 前后评语对照：实现前（对创意）——"如果实验显示显著提升、并给出有洞见的分析，我认为足够激动人心、够发表"、"很难预测，假设实验成功会是一篇扎实的论文"；实现后（对产出）——"方法相对基础做法没有明显改进"、"缺与前人工作的比较"、"实验不该只是数字，还要有讨论与图去解释结果为何如此"。创意阶段评审关注 novelty/motivation/significance；执行阶段关注实证性能、缺失细节、泛化、实验设计、消融。
• 但并不全是坏消息：看最终 top-10 排名——novelty top-10 里有 5 篇、且排名第一的是 AI 生成的创意/报告；effectiveness 上有 4 个 AI 创意冲进前列、第三名是 AI；overall 上也有 4 个进入最终名单。说明 AI 创意"其实没那么差"。

线三：把 ideation 与 execution 接成闭环（RL / 进化搜索）

• 动机：既然 AI 会生成很新颖但落地掉分的创意，能否把两端接起来，放进 RL 或进化搜索里"教它生成更有效的创意"？难点：拿到创意后很难自动得到"创意有效性"的奖励信号（可以做分类预测有效性，但不够 grounded、不可信）。
• 两个较真实的研究环境（都在 Yang 自己领域）：
• 后训练：用 GRPO 训练 Qwen 2.5 于数学数据集，指标 = 验证集准确率；
• 预训练 speedrun：训练 GPT-2 于 FineWeb、只训 25 分钟，改编自 Andrej Karpathy 的 nanoGPT，指标 = baseline 验证 loss。
• 选它们是因为：算力有限做不了完全开放式探索，但仍要保留开放性（给新算法创新留空间），同时有成熟 baseline/benchmark 数字便于定量比较。
• 方法：搭一个"idea-as-a-tutor"式的自动执行器作为奖励函数，用进化搜索 + RL 教 LLM 生成更有效的创意；只更新 ideator。可看作一个高层 API：输入=一批自然语言创意，输出=每个创意的 benchmark 性能。三个模块：implementer（生成创意对应的 code diff 并应用）、scheduler（中间层，接收代码库列表并分配 GPU 资源）、worker（带 GPU 的集群，跑实验并上传结果）。
• 前提验证：自动执行器管用吗？completion rate 尚可（约 84、80、52 等）。
• 结果：两个任务都对比了代码库自带 baseline 与公开榜单上能找到的最强人类专家。后训练（改进 GRPO）上，execution-guided search 刷到 SOTA；预训练（nanoGPT speedrun）显著超过 baseline。搜索过程中可见：scaling 趋势（更强模型拿更高奖励）、稳定超过 baseline、有的模型很快饱和、有的持续产出新奖励。
• GRPO 环境的成功创意示例（baseline 准确率 48）：第一个与 residual 相关的学习、及其他若干对 GRPO 算法的有趣改动，都带来验证集提升。
• 重要观察一——极端调参：读大量生成创意后发现，顶尖创意常常是极端超参搜索（可学习权重、attention、learning rate 的 decay/warmup 等）。做"超参搜索 vs 算法创新"归类：Claude 4.5 很偏超参搜索（占比很高），而 GPT-OSS 的贡献主要在算法侧。
• 重要观察二——多样性坍缩（diversity collapse）：随训练，平均奖励曲线漂亮上扬，但最大奖励基本饱和。而做研究我们要的不是平均奖励，应最大化"能拿到的最大奖励"——科学是关于下一个大突破，而非许多平庸的小改进。这被点名为一个值得研究的新问题。
• 有趣的原子创意：nanoGPT 部分出现"带位置的嵌入混合（把 token 嵌入与位置嵌入按权重混合）"、"head-wise attention output scaling"等；而且若干创意能在过去三个月人类写的论文里找到对应。

反思与人—AI 协作

• 自动化 AI 研究令人兴奋（尤其涉及重复性劳动时），但也有问题：当前小规模的可靠性能否 scale up？需要为该领域专门训练 recipe，还是在最强模型上做 scaffolding 就够？如何把研究品味（research taste）注入过程？
• 一个思想实验：既有开放权重模型（如 Marin，转写作 "marine"），若再有自动化 AI 研究者，能否推到一个新的前沿开放模型。
• 更广的空间：多模态（自然科学有远比文本/图/表更丰富的模态）、记忆（几个月的工作与实验室 setup，当前上下文窗口不够）、如何丰富地利用人类反馈、人—AI 协作，以及必然的dual-use 顾虑、风险与对齐。
• 人—AI 协作的实证：讲者其他工作显示人—agent 协作可优于单打独斗的 agent（性能与用户满意度都更好）；让人类与不同编码 agent 合作后发现——单 agent 的能力排名 ≠ 人机协作后的排名（模型的"协作能力"与其自身能力排名不同）；懂得用 AI 的人受益巨大，不懂的人甚至打不过单 agent，而用得好的人能大幅超过单 agent。

收束：研究的核心仍是研究者

• 回到科学方法：是人在决定什么值得研究、什么值得测试、构建"如何知道"的方式、判断什么站得住、拥有其含义、看见数据之外的模式。
• "好奇心自有其存在的理由"。面向已知目标 AI 可以做得极好，但人类对身边一切的好奇是独有优势。下一个前沿也许是：能否让好奇心本身成为目标——把"想知道"的内在动机、惊奇作为优化目标？如何量化/激发/传授研究品味（不仅给 AI，也给人类）？还要警惕过度优化——若"快科学"结果拿走大量资金/关注，如何保护开放式科学。
• 与其担心 AI 取代研究者，不如用 AI 去做大量平庸的研究，让研究者把 AI 当工具——就像天文学家用望远镜去理解周遭的一切。

关键结论 / Takeaways

• AI 会写"好创意"、但未必写得出"好论文"：AI 创意在评审中比人类 PhD 更新颖/更被看好，但执行落地后评分显著下滑（ideation–execution gap）；不过在 top 榜单里 AI 创意仍能占据不少高位。
• 接成闭环能刷 SOTA：以自动执行器为奖励、用进化搜索+RL 只更新 ideator，在 GRPO 后训练与 nanoGPT 预训练上超越 baseline/人类专家；但暴露出极端调参（Claude 4.5 尤甚）与多样性坍缩（平均奖励涨、最大奖励饱和）——而科学恰恰要最大化"最大奖励"。
• 人机协作的排名反直觉：模型的单机能力排名 ≠ 人机协作后的排名；"会用 AI"本身是决定性技能。
• 立场：研究的核心仍是研究者；把平庸研究交给 AI，把好奇心、品味、判断留给人类，是更好的分工。

Q&A / 讨论亮点

• Q1（关于 AlphaEvolve 式做法）： 能否设置实验，让 AlphaEvolve 去"编译"以前很难、现在借 LLM 很快能做的东西（如构建知识图谱）？利用现有文献构造因果图、在 NLP 上跑 AlphaEvolve，甚至去发现"品味/创造力"的评分？ A1： 线三的 execution-grounding 工作其实已是 AlphaEvolve 风格。若目标只是构建可解释知识库，AI 潜力很大；但发现出的产物如何验证并不易——需要在那个空间定义奖励，AlphaEvolve 类算法才真能运转。因果图不同于经典知识图谱，需要数据支撑、需要大量基于执行的 grounding。而"好奇心/品味"更宽泛——AI 能产出很多，但判断"好不好"确实很难、很开放，目前没有可行 recipe，但很令人兴奋。

• Q2（关于静态 vs 自适应研究计划）： 我收到研究计划书的评审时，评审似乎希望提交"已经做过的研究"；而导师说他们是在评估你规划研究的能力、而非计划书本身。研究是非线性过程，需要自适应、持续调整计划——你的线一/线二似乎假设静态计划，试过自适应设置吗？ A2： 很好的观察。为做 apple-to-apple 对比，线一/线二简化为经典会议评审（人们拿创意去实现、写论文、交代码、第三方复评）。但我同意——研究的过程（想清研究计划、把模糊创意"操作化"为干净可执行的东西）才是研究者的核心实践，无法从产出里轻易评估；论文被接收其实只代表研究者努力/洞见中很小的一部分 X。线一/线二更多关于研究实践与研究训练这一侧。

名词 / 引用

• ideation–execution gap：AI 创意在"实现前评分高、实现后掉分"的现象（本报告核心发现）。
• Semantic Scholar：创意生成系统交互的文献库。
• GRPO / Qwen 2.5 / FineWeb / nanoGPT（Andrej Karpathy）/ GPT-2：线三两个研究环境（后训练与 25 分钟预训练 speedrun）涉及的算法与数据/代码基。
• implementer / scheduler / worker：自动执行器（idea-as-a-tutor）的三大模块。
• diversity collapse：平均奖励上升但最大奖励饱和；讲者主张研究应优化"最大奖励"。
• Claude 4.5 / GPT-OSS：分别偏"极端超参搜索"与"算法创新"。
• Marin（转写作 "marine"）：斯坦福系开放权重模型，用于"自动 AI 研究者推进前沿开放模型"的思想实验。
• lump-of-labor / Amdahl 定律思路：讲者关于"自动化后瓶颈转移到人类环节"的隐含论证（后在辩论中被正方 Mireshghallah 明确引用）。
• 合作者：Chenglei Si（转写作 "Chen Lei"）、Tatsunori Hashimoto。

原文发表：2026-07-10  ·  纪要生成：2026-07-13