← 返回目录

▶ 原文链接

持续自我改进的AI——斯坦福大学Zitong Yang博士答辩

来源： YouTube | Zitong Yang（斯坦福大学博士） | 2026-03-03 分类： AI 研究 原文发表： Mar 03, 2026 纪要生成： 2026-03-05

全集重点

嘉宾/话题简介

本次分享为斯坦福大学博士Zitong Yang的学位答辩内容，其研究围绕持续自我改进AI的技术路径展开，相关成果覆盖4篇合作学术论文。本次答辩系统介绍了自改进AI的核心定义、三类关键能力的落地技术，同时结合物理学案例探讨AI超越人类创造者的可能性，为通用人工智能的发展提供了全新的研究思路。

分节详述

00:00 开场与持续自改进AI定义

本节重点

详细精要

💬 精华片段（中文）

持续自我改进的AI是这样一种系统：它一旦被创造出来，就能够自主、持续地完成自我优化，优化效果优于人类创造者对它的改进。

"A continually self-improving AI is a system that once created can autonomously and continually uh improve itself better than his human creator can improve it."

05:40 第一部分：持续知识获取技术

本节重点

详细精要

💬 精华片段（中文）

合成持续预训练加上检索工具的组合能带来更优的效果，二者的提升是互补的，我认为这非常合理，因为在实际场景中，如果你要为公司或业务定制大语言模型，你不会想放过任何性能提升的机会。

"What we see is that if you combine open book and the continue pre training together you actually get best results that means sort of their improvement is complimentary and I think this makes a lot of sense because like in practice say you want to engineer a language model for your company or uh like uh your business you don't want to leave any like performance improvement on the table."

16:20 第二部分：预训练能力自提升技术

本节重点

详细精要

💬 精华片段（中文）

现有互联网文档之间存在丰富的相关性，比如《哈利波特》的书和三年后上映的电影剧本，《Attention Is All You Need》论文和GPT-2的代码库，代码里91行实现了点积注意力，而论文里用英文描述了点积注意力的定义，这就是英文文本和Python代码之间的相关性。

"The existing internet documents there's rich correlation among them. For example the book of Harry Potter and the screenplay of his movie production three years later and this attention is all you need paper and the GBT2 code base. So in this line 91 here it implements the dot product attention intend and somewhere in the attention all you need paper they literally they say like dot product attention in English."

33:40 第三部分：AI自主设计学习算法技术

本节重点

详细精要

💬 精华片段（中文）

后训练任务的初始准确率是48%，我们的搜索把它提升到了69%，而CS336课上的最佳人类学生成绩是68%，所以从这个很有限的意义上来说，它已经打败了最优的人类。

"The post training one it starts with 48% and our search makes it the 69%. And the best leaderboard from the CS 336 class it's 68%. So like it's like beating the best human in a very weak sense."

48:20 结论与哲学探讨

本节重点

详细精要

💬 精华片段（中文）

当爱因斯坦写下那场方程的那一刻，它就编码了当时没有人类能够理解的真理。某种意义上，我认为“AI能否超越创造者”这个问题根本就不应该被提出，仅仅因为我们创造了某个东西，没有任何理由认为它不能强于我们。

"The moment a theory is created it is evolved it's created like the time when Einstein wrote that field the equation it encodes a truth that no human at the time could understand. So uh in some sense my answer to this question is like it shouldn't be asked in the first place that just because we create something there's like no no reason to think that they cannot be above us."

专业术语注释

术语 解释
灾难性遗忘（Catastrophic Forgetting） 本集语境中指大模型在注入新知识时，原有存储的知识被大幅覆盖、准确率快速下降的现象
合成持续预训练（Synthetic Continual Pre-training） 本集中提出的技术范式，基于少量小众领域源文档生成多样化合成数据，对模型做持续预训练以注入新知识，避免灾难性遗忘
实体图合成数据生成（Entity Graph Synthetic Data Generation） 本集中提出的合成数据生成技术，通过抽取源文档实体、随机组合实体要求模型生成关联描述，提升合成数据的多样性
合成Bootstrap预训练（Synthetic Bootstrap Pre-training, SBPT） 本集中提出的预训练自提升技术，挖掘现有文档的跨文档相关性生成合成数据，无需新增真实数据即可提升预训练效果
演化搜索（Evolutionary Search） 本集中自动化AI研究员采用的迭代方法，通过留存历史高性能想法、组合或生成新想法的方式，持续搜索更优的算法方案
GRPO（Group Relative Policy Optimization） 一种强化学习算法，本集中用于数学推理任务的后训练优化
SWE-bench 衡量大模型代码修复能力的基准测试数据集
QuALITY数据集 本实验中用到的闭书问答测试数据集，包含专业书籍和配套的多选择问题
Llama 3 Meta开发的开源大语言模型系列，本研究中用作基线模型
GSM8K/MATH500 常用的数学推理能力基准测试数据集

延伸思考

  1. 合成数据的事实性随模型规模提升的规律是否存在上限，未来是否有可能达到甚至超过真实人类数据的事实性水平，值得进一步验证。
  2. 自动化AI研究员当前仅能在限定的狭窄任务场景超过人类，如何扩展其适用范围到通用AI研究场景，是后续重要的研究方向。
  3. 持续自改进AI的迭代过程存在不可控风险，如何在技术落地过程中设置对齐、安全审核的拦截机制，需要产业界和学界共同探索。
  4. 跨文档相关性的挖掘思路是否可以扩展到多模态数据（文本、图像、音频、视频），进一步放大预训练阶段的自提升效果，具备较高的探索价值。
  5. 若AI未来真的具备远超人类的科研能力，人类科研人员的角色将如何转变，相关的伦理、就业配套政策需要提前布局。

原文发表：Mar 03, 2026  ·  纪要生成：2026-03-05