AI 编程的危险幻觉 — Jeremy Howard 深度访谈

来源： YouTube | Jeremy Howard | 发布日期：Mar 03, 2026 分类： 其他 原文发表： Mar 03, 2026 纪要生成： 2026-06-29

全集重点

AI 编程是“老虎机”：其随机奖励机制与赌博高度相似，容易让人产生控制错觉并上瘾。
编码 ≠ 软件工程：大语言模型擅长文本到代码的“风格迁移”，但在需要原创性设计的软件工程上表现极差。
知识具有亲历性且不可替代：过度依赖 AI 会侵蚀组织和个人内部的活知识，导致“理解债务”和能力退化。
交互式环境是 AI 时代的解药：Notebook 式的动态、有状态反馈循环，是人类构建深度理解并与 AI 高效协作的关键。
真正的危险是权力集中：比 AI 失控更紧迫的威胁是，技术权力被少数渴望权力的人或公司垄断。

嘉宾/话题简介

Jeremy Howard 是深度学习先驱、Kaggle 特级大师，也是 ULMFiT 论文的作者，该研究奠定了现代迁移学习在自然语言处理中应用的基础。他创办了 fast.ai，致力于让更多人能够接触和理解深度学习。在本集中，Jeremy 结合其深厚的认知科学背景，猛烈抨击了当下盛行的“氛围编程”文化，强调真正的创造力源于对系统的深入理解和交互，并警示了将认知任务外包给 AI 对个人和组织竞争力的长期危害。

分节详述

[00:00] 引言：交互式探索是直觉的来源

本节重点

真正的洞察力来自与问题反复交互、“戳”它直到它反推回来的过程。
LLMs 只是在“角色扮演”理解，它们并不真懂。
一项最新研究显示，AI 对实际产出的提升微乎其微。

详细精要

交互式探索是形成直觉的核心：Jeremy Howard 认为，真正的深刻洞察发生在与问题反复交互、反复试探的过程中，例如通过笔记本或 REPL 环境来“戳”一个问题。
这种互动能帮助像费曼这样的伟大科学家们建立起关于世界运作方式的深层心理模型。
他认为，无论是在真实世界还是计算机内部，能够实时操纵、研究、移动和组合这些对象，是人类借助计算机大幅提升能力的关键。
LLMs 只是在“角色扮演”理解：Jeremy 指出一个看似矛盾的现象——既可以说 LLMs 不懂任何事，也可以说它们能完成惊人任务，但双方其实都正确。
他用“角色扮演”一词来描述 LLMs 的行为，它们假装理解事物，这种假装在其有效的范围内并不重要。
问题在于，一旦脱离这个有效范围，其“愚蠢”本质就会暴露无遗。
AI 编码对实际生产力的提升被严重夸大：Jeremy 直接反驳了 AI 能带来指数级效率提升的流行说法。
他引用了一项最新研究，结果显示人们实际交付的高质量软件仅有“微小的上升”。
这与人们在体验中感受到的效率提升感形成了鲜明对比，揭示了感知与现实之间的巨大差距。
AI 编码与赌博机制的相似性：Jeremy 将 AI 编程比作一台老虎机，因为它有诸多令人上瘾的元素。
用户拥有“控制幻觉”，可以精心设计提示词和上下文。
但最终，每一次提交提示词都像“拉下拉杆”，结果充满随机性。
生成出来的代码无人能真正理解，这给将其作为公司产品赌注带来了巨大的不确定性。

💬 精华片段（中文）

“大语言模型在角色扮演理解。它们假装理解事物。有趣的是，它们都是对的。LLMs cosplay understanding things. Like, they pretend to understand things. And the funny thing is they're both right.”

[04:44] ULMFiT 的诞生：通用预训练与精细微调的哲学

本节重点

ULMFiT 是第一个证明在大型通用语料上预训练，然后在特定任务上微调范式有效性的论文。
Jeremy 的背景是哲学与认知科学，这让他坚信模型必须通过压缩世界知识来构建抽象层级。
微调方法的关键创新包括：渐进式解冻层、判别式学习率和微调所有批次归一化层。

详细精要

ULMFiT 的技术架构与核心思想：Jeremy 介绍了 ULMFiT 的技术细节，它是当代语言模型“预训练-微调”范式的开创者。
此前的类似工作（如 McCann 和 Andrew Dai 的研究）未能意识到，预训练语料必须是通用目的的，这是 Jeremy 从认知科学背景中得出的关键洞察。
技术栈主要包括：AWD-LSTM 架构（由 Stephen Merity 开发，在极端灵活的 LSTM 上添加了 5 种以上的正则化方法）、重新处理的维基百科数据集（修复了诸如“unk”之类的过时代 NLP 假设），以及 8 小时的单块游戏 GPU 训练。
迁移学习的重要性远未被认识：在当时，迁移学习是一个极其不受重视的领域，没人讨论它。
Jeremy 和 Rachel Thomas 认为只有少数人需要训练大模型，其他人都可以通过微调来使用它，因此掌握微调技术是至关重要的事。
这种理念在当时是极具争议的，他们几乎是从零开始探索并确立了许多后来成为标准的方法论。
创新的微调方法论：fast.ai 团队开发了一系列微调技术，这些在当时都是反常识的。
渐进式解冻：先只训练最后一层，然后解冻最后两层，以此类推。这样速度更快，因为只需反向传播到特定层。
判别式学习率：不同层使用不同的学习率，因为各层行为模式不同。这是基于 Jason Yosinski 关于网络可迁移性的博士研究。
微调批次归一化层：这是一个多年未被重视的关键点。Jeremy 强调，必须用新数据微调所有的归一化层，以调整其尺度和偏移。通过这个方法，在 ULMFiT 中只需微调最后两层就能接近最先进的结果。

💬 精华片段（中文）

“我的前提是，一台机器可以通过纯粹利用深度学习模型观察海量文本语料库中的统计相关性，来构建一个关于世界是什么以及如何运作的有效抽象层次。That was my premise... A machine could kind of build an effective hierarchy of abstractions about what the world is and how it works entirely through looking at the statistical correlations of a huge corpus of text using a deep learning model.”

[11:42] 持续学习与创造力：模型能走出训练分布吗？

本节重点

只要方法得当，针对特定任务微调模型不一定以牺牲其通用性为代价。
LLMs 具备强大的“组合型创造力”，但缺乏“跳出分布”的原创能力。
模型的能力边界非常明显，一旦任务超出其训练数据分布，它会瞬间从“极度聪明”变得“比愚蠢还糟糕”。

详细精要

微调与通用性并非绝对对立：Jeremy 反驳了“微调会破坏模型通用性”的普遍观点。
他指出，问题往往在于人们不观察模型的激活值和梯度。通过 fast.ai 软件的可视化工具，训练几小时后就能凭直觉判断模型是过拟合还是欠拟合。
他认为，用人类学习新技能来类比 AI 很有帮助，当模型学习两个相似任务时，它通常在两个任务上都比只学一个的模型表现更好。
这与 Yann LeCun 实验室的 DINO 论文思想一致：在预训练阶段保持多样性和保真度，以便为下游任务提供更多的“抓手”。
创造力与约束的关系：Jeremy 和主持人讨论了创造力的本质，并与 Margaret Boden 的理论相联系。
LLMs 非常擅长组合型创造力，即将记忆中的大量信息以有趣的方式组合在一起。Piotr Wozniak 的记忆理论也支持这一点：创造力来源于记忆的积累与重组。
然而，LLMs 完全不擅长跳出训练分布（即 Boden 理论中的“变革型创造力”）。这是一个根本性的限制，源于其数学模型本质。
就像在二维平面上拟合曲线一样，一旦超出数据覆盖范围，曲线就会疯狂偏离。这种模型在插值范围内能力极强，但在外推时则完全不可靠。
“走出分布”的实证体验：Jeremy 分享了他作为研发人员的日常体验，他经常处于训练数据的边界或之外。
每天他都会多次见到 LLM 从“极其聪明”的状态突然崩坏，变得“连关于世界如何运作的最基本前提都理解不了”。
一旦发生这种情况，继续对话就毫无意义，因为模型已经“丢失了”智能。这清晰地展示了 LLMs 能力的边界，即它们在已知模式之间的导航能力极强，但无法创造全新的范式。

💬 精华片段（中文）

“他们真的不能外推出训练分布。答案是，不能。但训练分布如此之大，其间的插值方式如此之多，我们真的还不知道这其中的局限性在哪里。 they can't really extrapolate outside the training distribution. The answer is no, they can't. But the training distribution is so big, and the number of ways to interpolate between them is so vast, we don't really know yet what the limitations of that is.”

[27:14] “氛围编码”：生产力幻象与组织的知识侵蚀

本节重点

科技领袖（如 Dario、Elon Musk）关于 AI 将取代软件工程师的言论，源于他们对软件工程的误解。
Fred Brooks 在数十年前的论文《没有银弹》中就指出，编程的本质困难不在于打字，AI 最多能带来 30% 的提升。
组织中存在一个危险的默认“吸引子”：过度依赖 AI 会导致个体能力退化和“理解债务”。

详细精要

对“氛围编码”风潮的批判：Jeremy 直接点名批评了一些科技领袖的言论，认为他们对软件工程存在根本性误解。
他提到 Dario Amodei 的文章和 Elon Musk 关于 LLM 将直接生成机器码的言论，指出这些人都不是现役软件工程师，甚至可能从来都不是。
他将编程定义为一种“风格迁移”问题：根据问题描述，在训练数据中找到插值点，并将其转换为目标语言的语法。但这远非软件工程的全部。
软件工程的精髓在于设计而非编码：Jeremy 引用了 Fred Brooks 的经典论文《没有银弹》来支持他的观点。
Brooks 在几十年前就预言，即使出现第四代语言等新技术，软件工程的生产力提升也不会超过 30%。
因为软件工程中绝大多数工作不是敲代码。Jeremy 以身说法，虽然他现在 90% 的代码是 AI 写的，但他并没有因此变得“那么”高效，因为慢的从来不是打字。
AI 在原创设计上的灾难性表现：任何时候，只要让 LLM 去设计一个未曾被设计过多次的解决方案，结果都是“可怕的”。
它每次给出的设计方案，都是一个表面上看起来有点相似的现有设计的复刻。
当创造新东西的初衷就是为了摆脱旧东西时，这种表面相似的方案往往是绝对灾难性的，因为它会误导方向。
自动化悖论与知识侵蚀：Jeremy 和主持人探讨了将认知任务委托给语言模型的风险，这触及了知识的本质。
知识是活的、具身的、有视角的（protean），而组织的目的是保存和演化知识。当认知过程被自动化，组织内的活知识就会被侵蚀。
默认的行为模式是“自满的滑坡”：人们会逐渐退出参与，不再关注细节，最终形成理解债务。这与自动驾驶汽车的悖论相似，人最终可能会失去接管能力。
Anthropic 的一项研究佐证了这一点：虽然少数人能利用 AI 提升学习曲线，但大多数人都因缺乏摩擦而学不到东西。教育中的理想难度概念解释了为什么适度的困难对于形成记忆至关重要。

💬 精华片段（中文）

“软件工程是一门不寻常的学科，许多人误以为它和在 IDE 里敲代码是一回事。 Software engineering is a unusual discipline, and a lot of people mistake it for being the same as typing code into an IDE.”

[46:47] “老虎机”核心：幻觉控制、科技债务与赌博心理

本节重点

Jeremy 及其团队的研究证实，AI 对软件实际交付量的提升微乎其微。
AI 编程暗含了赌博的所有成瘾要素：控制错觉、随机奖励、损失伪装成胜利。
Rachel Thomas 的文章揭示了这种“暗流”（Dark Flow）对开发者的侵蚀。
即使有成功的个例，也会导致无人能理解的代码片段，给项目带来巨大的长期风险。

详细精要

生产力数据的真相：Jeremy 用事实反驳了 50 倍效率提升的说法。
他的团队完成了一项研究，结果显示，人们实际交付的高质量软件仅有“微小的上升”。
这意味着虽然写代码的速度可能变快，但真正的产出来自于理解、设计、调试和协作的整个复杂过程。
AI 编程作为赌博的机制剖析：Jeremy 引用其妻子 Rachel Thomas 的文章，详细拆解了 AI 编码如何与赌博机制吻合。
控制幻觉：用户可以精心设计 prompt、MCPs、技能等，感觉自己在主导一切。
随机奖励：提交 prompt 就像“拉下拉杆”，结果充满不确定性。
损失伪装成胜利：偶尔的成功会冲淡绝大多数失败带来的挫折感，使人持续投入。
这种循环导致令人筋疲力尽的马拉松式编程，Jeremy 自己就经历过 14 小时的 Claude Code 狂潮，事后感到极度疲惫。
“无人理解代码”的困境：Jeremy 分享了他用 AI 修复杂 IPykernel 的亲身经历。
这是一项高度复杂的任务，涉及多线程、锁、ZMQ 等。 ChatGPT 的 GPT-5.3 Pro 版本在几小时内成功产出了可运行的修复代码。
但结果是，他拥有了一个没有人能真正理解的、唯一能正确运行新版内核协议的实现。
这带来了一个无解的软件工程问题：我们是否应该把公司的产品押注在这样一段无人理解的代码上？它是否有内存泄漏？一年后还能否工作？目前没有任何理论能指导我们应对这种情况。

💬 精华片段（中文）

“AI 编程就像一台老虎机，你会有一种控制的幻觉……你知道你可以设计你的提示词，你的 MCP 列表，你的技能等等，但最后，你拉下了拉杆。The thing about AI based coding is that it's like a slot machine and that you have an illusion of control... and then in the end, you pull the lever.”

[01:01:15] 解药：交互式、有状态的笔记本环境

本节重点

计算历史的“黄金时代”（Smalltalk, APL, Lisp, Mathematica）专注于让人与计算机紧密协作，但现代软件工程背离了这一点。
Jeremy 开发的 nbdev 等项目，旨在让生产级软件开发也能在动态、交互的 Notebook 环境中进行。
这种有状态、有反馈的 REPL 环境更符合人类大脑的工作方式，能帮助构建深层心理模型。
将 AI 置于同样的交互环境中，其表现也远好于在传统的行式终端里。

详细精要

回归“黄金时代”的编程范式：Jeremy 认为现代软件工程的方式是“令人作呕的”和“不人道的”。
他追溯历史，赞扬 Stephen Wolfram 的 Notebook 接口、Alan Kay 的 Smalltalk、Kenneth Iverson 的 APL 以及 Lisp，这些是让人与计算机通过操作可视化对象进行深度交互的黄金时代。
他认为，像 Bret Victor 的作品所展示的那样，与工作对象建立直接、本能（visceral）的连接才是最重要的。传统软件工程专注于可复现的“死文件”，与这一理念背道而驰。
nbdev 与 Solveit：作为解决方案的交互式环境：Jeremy 介绍了他的项目 nbdev，它允许在 Jupyter Notebook 环境中创建生产级软件。
这种方法让他成为了极高产的开发者，尽管他并非全职程序员。他认为关键在于将探索、实现、文档和测试全部整合在一个地方。
他的新产品 Solveit 则将人类和 AI 共同置于一个 Python 解释器环境中。在这个环境里，人类、AI 和计算机可以实时互相对话、共享工具、构建理解。
使用 Solveit 的体验与使用 Claude Code 截然相反。几个小时后，他感到充满活力和成就感，而非筋疲力尽。
Notebook 的“原罪”与救赎：针对 Joel Grus 著名的演讲《我不喜欢 Notebooks》中对 Notebooks 在可复现性和 Git 方面的批评，Jeremy 进行了回应。
他承认数据科学家团队在使用 Git 等方面存在问题，但解决方案不是抛弃探索性工具，强制他们进入“死板”的软件工程流程，这会导致团队分崩离析。
正确的做法是解决工具本身的问题。fast.ai 团队开发了一个 nb merge driver，为 Jupyter Notebooks 提供了单元级别的 diff 和 merge 冲突解决能力，使其对 Git 友好。
他强调，所有软件开发人员都应该使用探索式编程来加深对系统的理解，从而构建更强的心理模型，这样可以几乎消灭 bugs。

💬 精华片段（中文）

“我的使命始终如一，就像过去20年一样，那就是阻止人们以这种方式工作。...当你和你的工作对象之间有一个直接的、本能的连接时，那才是最重要的。My mission remains the same as it has been for, like, 20 years, which is to stop people working like this... a direct visceral connection with the thing you're doing is all that matters.”

[01:17:49] 风险与威胁：权力集中才是真正的“存在风险”

本节重点

Jeremy 与 Arvind Narayanan 共同反驳了 AI 自主意识导致世界末日的论调。
当下最大的风险不是 AI 自主，而是技术导致的能力退化（enfeeblement）。
更根本的危险在于，超强技术被用于权力集中，这才是历史上反复出现并威胁文明的模式。
分散权力才是应对技术威胁的合理方式，而非以安全之名将权力交给少数公司或政府。

详细精要

对 AI “存在风险”论的反驳：Jeremy 回顾了当年反驳 Hinton 和 Hassabis 等人签署的“AI 存在风险”公开信的经历。
他认为 Eliezer Yudkowsky 式的 AI 失控叙事已被证伪，就像任何末日派一样难以被证伪，除非设定期限。
他现在承认模型在受限领域内可以表现出智能，甚至具备一定的“能动性”（agency），但这并不意味着它们能无限制地发展。
真正的“存在风险”是权力集中：Jeremy 阐述了他与 Arvind 的核心论点。
即使假设未来 AI 会变得无比强大，应对这种风险的绝对最坏策略就是权力集中。
历史上每当出现突破性技术（如文字、印刷术、选举权）时，既得利益者都会以“威胁社会稳定”为由试图将其垄断。这种模式最终只会让渴望权力的人接管它，窒息社会。
如果 AI 真的如此强大，将其交给埃隆·马斯克或唐纳德·特朗普独自掌控，对文明是毁灭性的。相反，将权力分散给全社会是更安全的做法。
当前更具体、更紧迫的风险：Jeremy 认为，相比于远期的 AI 失控，当下的风险更值得我们警惕。
人类能力退化：这是目前他最担心的风险。人们沉迷于使用 AI 工具，却在这个过程中丧失了长期学习和成长的能力。
隐私风险：这确实存在，但并非 AI 时代独有。像谷歌、微软等公司早已拥有海量用户数据。
更深层次的隐私威胁来自政府将数据监控外包给私营公司（如当前的 Palantir），这规避了政府直接建立公民数据库的法律限制，而 AI 大大增强了这些公司处理数据的能力。

💬 精华片段（中文）

“即使它最终被证明是极其强大的，你仍然不应该把所有这些权力集中在一家公司或政府的手中。因为如果你这样做，所有的权力都会被渴望权力的人垄断，并用来摧毁文明。Even if it turns out to be incredibly powerful... you still shouldn't centralize all of that power in the hands of one company or the government. Because if you do, all of that power is going to be monopolized by power hungry people, and used to destroy civilization, basically.”

专业术语注释

术语	解释
ULMFiT	Jeremy Howard 和 Sebastian Ruder 在 2018 年提出的论文，全称为 Universal Language Model Fine-tuning。它首次系统性地论证并实践了在通用大型文本语料上预训练语言模型，然后在多种下游任务上进行微调的有效性，是现代 NLP 迁移学习的奠基之作。
AWD-LSTM	全称 ASGD Weight-Dropped LSTM，一种在 LSTM 架构上应用了多种正则化技术的循环神经网络变体，是 ULMFiT 论文中使用的核心模型。
REPL	Read-Eval-Print Loop（读取-求值-输出循环），一种简单的交互式编程环境，用户输入单行代码或命令，系统即时执行并返回结果，对探索式编程至关重要。
Notebook / Jupyter Notebook	一种基于 Web 的交互式计算环境，允许用户在一个文档中创建和共享包含实时代码、方程、可视化和叙述文本的程序。
lkbdev	Jeremy Howard 开发的项目，它使得开发者可以直接在 Jupyter Notebook 环境中编写、测试和部署生产级别的 Python 软件，将探索与工程融为一体。
组合型创造力 (Combinatorial Creativity)	Margaret Boden 提出的创造力三层次之一，指将已知的概念、想法以新颖的方式进行组合。LLMs 极其擅长此道。
变革型创造力 (Transformational Creativity)	Margaret Boden 提出的最高层级的创造力，指改变现有概念空间的规则，创造出以前不可能被想到的新想法或风格。Jeremy 认为 LLMs 不具备这种能力。
理想难度 (Desirable Difficulty)	教育心理学概念，指学习任务中存在适度的挑战和阻力时，反而能促进更深层次的编码和更持久的长期记忆。
控制幻觉 (Illusion of Control)	心理学概念，指个体在面对随机事件时，倾向于高估自己的行为对结果的控制力。在 AI 编程中，指用户通过精心设计 prompt 误以为自己能掌控 AI 的输出质量。
认知负荷 / 理解债务	指在 AI 辅助编程中，由于代码由 AI 生成，开发者缺乏对代码细节的深入理解，导致未来维护、修改和扩展的潜在成本不断累积。
IPykernel	Jupyter 项目的核心组件，它是提供 Python 代码执行计算能力的内核，负责处理代码执行、自动补全、调试等核心功能。

延伸思考

软件工程的教条与创新：Jeremy Howard 对现代软件工程范式的严厉批判是否过于浪漫化？探索式编程（REPL/Notebook）与工程化实践（CICD、IaC）之间的张力能否通过工具设计的改良而真正弥合，还是这反映的是科学探索与工业制造之间不可调和的根本差异？
AI 时代的“理想难度”设计：教育者和工具设计者应如何有意地在 AI 工作流中引入必要的摩擦，以创造“理想难度”，从而在利用 AI 提升效率的同时，确保人类使用者能够真正学习和内化知识，避免陷入“理解债务”的陷阱？
组织知识的演化危机：如果组织的核心竞争力来自其成员共享的、内隐的、不断演化的知识，那么当代码、设计甚至决策越来越由 AI 生成时，这个演化过程是否会被切断？组织应如何构建“人机协同”的操作模式，才能确保持续的适应性和创新能力？
权力分散化的具体路径：Jeremy 提出权力集中是最大威胁，但当前 AI 技术明显有向少数巨头集中的马太效应。除了使用开源模型和在本地部署，普通用户和中小型组织还有哪些具体的、可操作的反制措施，来对抗这种结构性的权力失衡？

原文发表：Mar 03, 2026 · 纪要生成：2026-06-29