▶ 原文链接

自动微分改变了一切（而非Transformer）[Dr. Jeff Beck]

来源： YouTube | Jeff Beck 博士 | 2025年12月31日 分类： 其他 原文发表： Dec 31, 2025 纪要生成： 2026-06-29

---

嘉宾/话题简介

Jeff Beck 博士是一位在数学和计算神经科学领域有着深厚背景的研究者。他拥有西北大学的数学博士学位，主要研究复杂系统中的模式形成。在本期播客中，他基于“贝叶斯大脑”假说，深入探讨了人类认知、因果推理的本质，并对当前人工智能发展的关键驱动力、局限性以及通往更高级智能的路径提出了独特见解。他目前致力于构建一个受认知启发的、可扩展的框架，用于开发具备对象中心世界模型的AI。

---

分节详述

贝叶斯推理、科学方法与人类行为

本节重点

• 贝叶斯推理被阐述为科学方法的数学封装。
• 通过“中国餐馆过程”等模型，可以形象地理解科学如何对新旧数据进行比较、归类和假设检验。
• “贝叶斯大脑”假说的主要证据来源于行为实验，尤其是多感觉线索组合实验。
• 大脑通过有效权衡信息的相对可靠性，展现出近乎最优的线索组合能力。

详细精要

• 贝叶斯推理是规范性经验探究方法：Jeff Beck博士认为，贝叶斯推理封装了整个科学方法，是思考经验世界的正确方式。
• 他回忆起多年前Zoubin Ghahramani关于狄利克雷过程先验的演讲，该演讲深深触动了他。
• 演讲中涉及的“中国餐馆过程”等概念，让他意识到这就像总结科学方法运作方式的算法：你得到一些旧数据，然后得到一些新数据，你会比较它们的相似性，将它们归为一类，构建理论，并正确地检验假设。

• 贝叶斯方法的本质是关于明确的假设检验和明确模型，特别是关于世界的、以这些假设为条件的生成模型。

• 行为实验为“贝叶斯大脑”提供有力证据：真正让Jeff相信大脑是贝叶斯的，更多来自行为实验，而非他自己的主要研究方向（大脑如何实现这一点）。

• 他引用了实验表明，人类和动物在执行低级感觉运动任务时，信息处理效率惊人。

• 这种效率高到让人觉得唯一的解释就是我们正在进行贝叶斯分析，但Jeff强调，这不仅仅是效率问题。

• 线索组合实验展示近乎最优的信息整合：该实验证明人类在整合信息时考虑了不确定性。

• 在线索组合实验中，受试者会得到关于同一事物的两个信息，其中一个信息比另一个更可靠，且可靠程度在每个试次间都在变化。
• 尽管如此，人们在组合信息时会考虑每个试次上信息的相对可靠性，这使得他们在一个意义上是“最优的”。

• Jeff强调要小心措辞，他们只是“相对最优”，因为受试者并没有100%利用计算机提供的信息，但系统表现得好像它最佳地组合了这两个线索，并考虑了不确定性。

• 大脑持续处理大量信息，但不一定用于直接行为输出：我们总是在决策中考虑不确定性（例如在大雾中开车），大脑90%的工作是决定忽略什么。

• 我们接收到海量信息，其中大部分我们甚至不处理。但大脑可能在行为层面之外处理了更多信息。
• 大脑的持续学习是必需的，例如，如果你闭上眼睛五年，你的视觉系统会衰退，它需要持续输入来维持对视觉世界低级统计特性的理解。
• 这些信息被用于追踪我们有时需要，但不总是需要的那种低级统计信息，使得我们能灵活地在不同任务间切换。

💬 精华片段（中文）

“贝叶斯推理为我们提供了一种规范性的经验探究方法，并在很大程度上封装了科学方法。” “Basian inference provides us with like a normative approach to empirical inquiry and encapsulates the scientific method at large.”

---

计算隐喻、因果模型与宏观世界

本节重点

• 我们总是用当下最先进的技术来比喻大脑的工作方式，从杠杆、体液到现在的计算机和预测机器。
• 人类偏好因果模型，因为它们简化计算并直接指向可供干预的位置，这源于我们的行动能力。
• 宏观因果与微观因果的区别在于前者与我们可执行的操作层面相匹配。
• 向下因果关系是判断一个宏观变量是否良好的关键标准，即它能总结系统行为并使微观细节变得无关紧要。

详细精要

• 解释大脑的模型总会类比于最先进的技术：Jeff认为这是一种不可避免的倾向。
• 几千年前，人们用杠杆和滑轮来解释大脑。中世纪时，最先进的技术是水力，于是有了体液学说。现在最先进的是计算机，所以大脑就被看作是计算机或预测机器。

• 他还提到哲学家曾认为宇宙是一台机器，并引用了乔姆斯基关于“机器中的幽灵”的讨论，指出幽灵就是我们不理解的部分。

• 因果模型是计算上方便且更贴近可供性的选择：我们选择因果模型，是因为它们使模型更简单，计算更容易。

• 以大型语言模型为例，它们大多是自回归的。这是数学上很方便的紧凑方式，用过去预测未来，但并不意味着语言真的就是这样运作的。
• 物理学中动量的例子：我们无法直接观察动量，但选择它作为隐藏变量，是因为它使整个模型变为马尔可夫模型，使计算变得简洁。Jeff对此是否反映宇宙本质持不可知论。

• 因果模型的另一个优点是，如果你打算行动，你需要预测行动的后果。你的行动或可供性与世界因果影响联系得越紧密，你的行动就越有效。因此，因果模型指出了“我应该在哪里干预”。

• 宏观与微观因果的区别在于可供性：物理学家看到的是粒子级的微观因果，而我们看到的是种群、人等宏观事物。

• 要真正识别一个因果关系，必须进行干预。他举了酗酒与肺癌的例子：曾有人认为酗酒导致肺癌，但实际是因为酗酒者健康状况差且吸烟率更高，需要干预才能发现真正的因果关系。
• 我们关心的因果关系是那些与我们的可供性相匹配的。在微观层面发现因果关系很好，但除非你有极小的镊子，否则用处不大。我们需要识别我们能够行动的领域内的因果关系。

• 人类最棒的能力之一是利用技术扩展我们的可供性领域，例如通过核能，我们制造工具来利用微观层面的因果关系。

• 向下因果证明了宏观变量的合理性：我们是否真的在意宏观因果，还是它只是有用的工具？Jeff坚持工具主义立场。

• 我们关心的是我们能够操纵的尺度上的因果，因为这让我们在真实生活的世界里采取有效行动。延伸到关心其他尺度，只是因为想拓展我们的影响力范围。
• 他用一个思想实验说明：如果你有一堆微观元素，想画个圈把它们称为一个宏观对象。你能否这么做，取决于这个宏观描述是否具有向下因果关系属性。如果宏观变量能总结整个系统的行为，并使得微观行为在未来的考虑中变得无关紧要，那么你画的圈就是个好圈。
• 一个好的宏观变量不仅是使微观测量无关紧要，还要有一个描述它随时间演化的方程式（如压力、体积、温度），从而可以进行长期预测。以犯罪意图为例，它在法律上被用作解释变量，但如果不知道它如何随时间变化，就无法做出长期预测，只能武断地认定某人是坏人，这让Jeff感到不安。

💬 精华片段（中文）

“因果模型的美妙之处在于，它减少了你需要担心和追踪的变量数量。这就是拥有一个原因的美妙之处。” “The nice thing about a causal relationship, it reduces the number of variables you have to worry about and track. That's the beauty of having a cause.”

---

主动推理、AutoGrad与AI的历史转折

本节重点

• 主动推理社区非常多元，因为它植根于卡尔·弗里斯顿发现的统一数学框架，该框架将信息论与统计物理学联系起来。
• AI大爆发的三个主要原因中，Jeff认为首推自动微分，其次才是大规模的扩展，而Transformer的作用被他打了星号。
• 自动微分将AI开发变成了一个工程问题，使得人们可以大规模实验，并最终发现反向传播和残差网络等技巧可以解决梯度消失问题。
• 这一过程中被忽略的是，真正的AI不仅仅是函数逼近，还需要像大脑和世界一样结构化的模型。

详细精要

• 主动推理社区因一个广泛应用框架而汇聚多元人才：该框架由卡尔·弗里斯顿发现并大力推广。
• 他发现了信息论和统计物理学之间的联系，创造出一个几乎普遍适用的数学框架。
• 弗里斯顿花了很多时间向科学界的不同领域“传福音”，展示这个框架可以应用于流行病学、社会科学、物理学等。他高产的原因之一，就是把同一篇论文的变体应用到了不同领域。

• 结果是，来自不同社区、思维方式迥异的人被吸引到他的圈子里，这使得在酒吧里的聊天变得非常有趣。

• AI发展的三大引擎：AutoGrad、Scaling和Transformer（带星号）：Jeff认为这三者缺一不可，但对Transformer的重要性持有保留意见。

• 自动微分：最重要的发明。它把AI开发从手工推导学习规则、漫长而痛苦的过程，转变为了工程问题。这让实验不同架构、非线性函数、记忆方式等变得可能。
• 扩展：前所未有地扩大规模的能力。

• 变压器：他给这个打了星号，因为人们认为Transformer能实现的许多功能，实际上更多是扩展的结果。证据是像Mamba这样的模型，它是传统的状态空间模型，但通过大规模扩展，也能实现与Transformer类似的功能。

• 自动微分使反向传播得以“死而复生”：在Jeff年轻时，反向传播曾被认为是一个死胡同。

• 原因有二：一是它不像大脑的工作方式，二是存在梯度消失问题。当时人们认为它永远不稳定。
• 一旦AI变成工程问题，人们开始玩各种花样，就发现了残差网络等手段可以绕过梯度消失。这些问题不是通过推方程式，而是通过工程实践解决的。

• 正是这种工程化，实现了超大规模扩展，带来了近年的巨大发展。

• 函数逼近的局限性凸显了对结构化模型的需求：在追求函数逼近的过程中，一些关键的东西丢失了。

• AI不仅仅是函数逼近，要想发展出真正的AI，或让模型像人一样思考，我们需要像大脑和我们对世界的构思方式那样结构化的模型。
• 现在随着LLM未能完全达到预期，业界开始回调关于AGI的说辞，部分原因是他们开始意识到仅仅函数逼近可能无法实现这一目标。
• Jeff和他的团队大约一年前以此为起点，决定为认知模型构建一个可扩展的编码框架，即利用我们对大脑如何工作以及人们如何思考的知识，来构建像我们一样思考的AI。关键在于规模化，而主动推理社区目前的大部分工作都还停留在小型、玩具模型阶段。

💬 精华片段（中文）

“我认为最大的事件是自动微分……它把AI开发变成了一个工程问题。” “I think that the biggest thing was autograd right and autograd turned um the development of artificial intelligence um from being something that was done by like carefully constructing your neural networks… and they turned it into an engineering problem.”

---

构建具身智能：对象中心的世界模型与系统工程

本节重点

• Jeff的团队专注于构建认知启发的模型，这些模型基于我们对物理世界的理解，强调智能必须是具身的。
• 智能不仅仅是把AI放进机器人，而是给机器人一个像人类一样的、对象中心、动态、因果的模型。
• 当前模型（如Transformer）是“微观”的，它们对世界的宏观对象结构只有隐式表征，这限制了它们的创造力和系统工程能力。
• 人类的创造力来自于将已知的组件（如机翼和喷气发动机）合成为全新事物的能力，这需要一个关系型的世界模型。
• Jeff认为模型应“扎根”于宏观物理学而非语言，因为语言是对思想和现实极其不可靠的描述。

详细精要

• 构建类人思维的AI需要对象中心的、因果的世界模型：Jeff团队的核心方法是构建认知启发模型。
• 智能必须是具身的。这不仅仅是把AI放到机器人里，而是要给机器人一个像我们一样的、对象中心、动态且主要是因果的世界模型。
• 另一个关键的差异化因素是稀疏结构化模型。像Transformer或LLM，它们处理句子时，会反复计算每个词与文档中其他所有词的关系，这是一种微观模型。

• 尽管这些大型模型通过作用于像素空间，能够隐式地获得宏观概念（否则它们无法工作），但这种表征是隐式的，并未以真实世界和我们概念中的稀疏结构实现。

• 纯粹预测模型的创造力天花板与系统工程式的创新：仅仅做个好的预测器是不够的。

• 理论上，只要有足够多和正确的数据，一个超级扩展的模型可以学到关于世界或多或少的正确隐式表征。但如果目标只是表征和预测世界，这就足够了。
• 但人不一样，人具有创造力，能解决新颖的问题。这不是对旧问题进行重新组合，而是真正发明新事物。

• 人类的发明方式，被Jeff以系统工程来例证：我们懂得机翼如何产生升力，也懂得喷气发动机如何产生推力，然后将这两部分信息组合起来发明了飞机。这种系统工程能力依赖于一个关系型的世界模型，即知道如何将不同物件以新的关系组合起来。

• “扎根”意味着找到正确的参考域——宏观物理世界而非语言：所有模型都在某种意义上被“扎根”于其训练数据，但这不是我们想要的。

• 当前常用的做法，如视觉-语言模型，是将视觉模型扎根于语言空间。这么做的原因，Jeff认为很大程度上是为了让模型有一个方便我们人类交互的界面。
• 但关键问题是：为了让模型像我们一样思考，应该把它扎根于什么域？Jeff的答案是，扎根于我们扎根的领域，即我们进化所在的物理世界。
• 这个世界提供了思想的原子元素。从单细胞生物感知其化学环境，到大型动物感知宏观物理世界，智能体的模型必须能代表其生存的环境。
• 语言是这个基础的非可靠描述。例如，在认知心理学实验中，受试者自我报告的行为解释往往与他们行为的准确模型完全不一致。自我报告是最不可靠的数据形式。因此，不应将模型扎根于这种不可靠的表述之上，而应扎根于宏观物理世界。

💬 精华片段（中文）

“我们希望构建对象中心、动态、因果的模型……这是巨大的差异。” “We want to build models that are... object-centered. It's dynamic. It's a it's largely causal, right? Um it's, you know, that's that's that's the big difference.”

---

主动推理的现状、可扩展技术与架构设想

本节重点

• 主动推理社区过去20多年侧重于广度的“传福音”，回避了真正的难题，导致缺乏深度。
• 贝叶斯方法可扩展性的提升得益于多种技术，如归一化流、自然梯度等近似方法。
• “大量小模型”的方法论：不要训练一个万能大模型，而是训练成千上万个针对特定对象的小模型，它们可以跨环境组合。
• 这种方法的系统架构类似一个视频游戏引擎，具稀疏性特质，只需实例化当前相关的物体模型。

详细精要

• 主动推理的局限在于广度优先、深度不足：该框架因过于追求普适性而未能聚焦难题。
• 过去20年，社区大量的工作是证明“这是普遍适用的”，因此有很多广度，但没什么深度。大家习惯于在玩具例子上展示它能处理某个心理现象或认知现象。
• 同时，社区内部有强烈的“做最纯正贝叶斯”的偏好，这让他们回避困难问题，因为贝叶斯推理历史上很难扩展。

• 但现在情况开始改变，来自贝叶斯机器学习社区的很多新发展，以及停止传福音、转向解决难题的意愿，使得证明主动推理真正兑现承诺成为可能。

• 可扩展贝叶斯推理的关键使能技术：一系列近似方法大幅提升了贝叶斯方法的可操作性。

• 归一化流：它类似于扩散模型——学习一个从容易处理的高斯分布到你关心的数据分布（如一张图片）的映射。Jeff纠正道，扩散模型实际上是归一化流的扩散训练协议。
• 自然梯度方法：可以极大加速梯度推断，在某些情况下甚至完全不需要梯度推断，转而使用坐标下降法，允许在参数空间中大跳步而不丧失学习能力。他提到了一个有趣的新缩写：BONG (Bayesian Online Natural Gradient)。

• 其他技术还包括快速采样方法、条件采样方法等。历史上，主动推理社区因痴迷于传统的消息传递算法而对使用这些近似方法持犹豫态度，一旦放宽“尽可能贝叶斯”的执念，就会开启大量可扩展的可能性。

• “大量小模型”是克服数据需求与实现泛化的关键：一种不同于训练单个巨型模型的新范式。

• 如果训练一个视觉模型理解YouTube视频，你需要用海量数据训练一个巨大的模型，最终得到一个隐式的对象中心理解。
• 另一种方法是，一次只训练一个特定领域的对象（比如只训练应对Zillow室内照片的模型）。这样，你得到的不只是一个理解房子的模型，而是成千上万个微型模型，每个代表一个物体或物体类别（如一本书）。

• 这种方法的优势在于，如果你够聪明地处理了这些对象间的交互关系，你就可以把“室内训练”学到的物体模型和“公园”训练学到的物体模型，无缝地放入一个新组合的环境中，系统依然能正常工作。

• 系统架构类似带不确定性追踪的视频游戏引擎：从模拟角度看，该系统的运作方式类似游戏引擎，但更灵活。

• 就像游戏引擎有大量资产（资产），每个资产有形状、纹理、质量等属性，并有一套交互规则（如牛顿力）。但在Jeff的框架中，力是一个抽象概念，可以是任何交互类型，并且新的力可以被发现。
• 当AI代理进入一个环境时，它只实例化当前需要的几千个模型，来运行类似物理模拟的过程，这种稀疏性使“大量小模型”成为可能。
• 这种方法天然具备处理新颖性的优势。当代理发现不对劲（极高不确定性）时，它可以“打电话给朋友”——一个云端的大型模型库，然后下载可能的物体模型进行假设检验，一旦识别完毕，就纳入自己的本地模型，而不需要一开始就背负一个全知但巨大的模型。

💬 精华片段（中文）

“如果你有一个明确的对象中心模型，你最终得到的不是一个理解房子的模型，而是成千上万个小模型，每个都解释了房子内的一个物体或物体类别。” “If you have an explicitly object-centered model then you end up not just with one model that understands a house. you end up with one model that's actually thousands and thousands of little models each of which... sort of explains like a single object or object class within the house.”

---

从游戏引擎到现实世界、深度学习融合及AI对齐

本节重点

• 为了让模拟训练能泛化到真实世界，模拟环境的物理逼真度必须足够高，这是当前游戏引擎的短板。
• 这种模型库方式可以通过“意外”信号来处理未知物体（如仓库里的猫），体现了其处理未知的显式能力。
• 贝叶斯框架完全可以融入深度学习工具，如归一化流，只要它们“目的适配”。
• Jeff提出的AI对齐方案是借鉴人类方式：通过对话交流信念来区分信念分歧和价值分歧，而不是试图直接编码一个模糊的全局奖励函数。

详细精要

• 从模拟到现实差距的关键在于模拟器的物理真实度和模型结构：这是机器人技术中的一个关键缺失。
• 训练模型在模拟环境中运行并很好地迁移到真实世界，一直是个难题。Jeff认为这主要不是因为模拟环境贫乏，而是因为它们不是现实世界足够精确的表征。
• 当前的视频游戏引擎旨在让画面“好看、合理”，并非严格的物理模拟。牛顿力学的方程很僵硬，如果碰撞计算稍有偏差，就会产生非物理真实的现象。

• 若有一个物理真实度更高的环境，让拥有结构化内部模型的机器人在里面学习世界的“真实法则”，那么它们将更能泛化到真实世界。这是机器人技术前进的关键，因为它可以摆脱对专家轨迹学习（即模仿人类行为）的依赖，让机器人真正学会物理。

• 显式模型在处理未知（“仓库里的猫”问题）时的优雅应对：这种方法赋予了AI“知道自己不知道”的能力。

• Jeff的同事喜欢举仓库管理机器人的例子：它已经学会了处理叉车、箱子、工人等。突然有一天，出现了一只猫。
• 在处理猫时，该系统基于自由能原理，持续追踪意外。当看到猫时，意外信号会飙升，系统会暂停，然后“打电话”给云端模型库。云端会返回几个候选模型（不同种类的猫或狗）。

• 仓库机器人下载这些模型，观察猫的行为，进行假设检验，一旦确认为“猫”，就整合这个理解，并送回其他不需要的模型。这种“节俭”的计算模式，使得模型只需了解其所处环境所需的知识，而不用什么都懂。

• 贝叶斯框架可与深度学习“择优录取”相结合：Jeff不排斥使用深度学习，只要工具合适。

• 当被问及如何使用高维图像数据时，Jeff指出贝叶斯推断处理原始像素确实挑战很大，但这就是为什么他提到归一化流，它本身就是一个深度学习工具。
• 归一化流可以将图像这种难以直接进行概率推理的信号，转化成易于处理的形式。Jeff表示，他们会乐于使用任何目的适配的深度学习工具。

• 这种结合就如同利用深度学习的强大特征提取能力，为贝叶斯框架的推理提供一个合适的输入表示。

• AI对齐的难题：人类如何解决它对AI的启示：直接从外部指定奖励函数在哲学和实践上都行不通。

• 奖励函数选择问题没有规范性的解决方案。比如在自动驾驶中，撞到松鼠扣10分，撞到猫扣50分，这些数字完全是模糊、主观且武断的。依赖武断的奖励函数，就像向邪恶的精灵许愿，可能导致灾难性后果。
• 人类是如何解决对齐问题的？首先，我们尝试理解别人的奖励函数，但这面临一个核心难题：我们只能观察到别人的行动，而行动是信念和价值的混合产物，两者在数学上无法从单一行动中分离。
• 人类解决这个问题的方法是交谈。我们相互交流信念：“你为什么认为这个行动比较好？”通过交流了解对方的信念形成机制，直到无法再用信念分歧解释行为时，我们才能将分歧归因于价值观。Jeff认为，这是AI对齐唯一真正可行的方式。
• 最安全的做法是先移除AI的决策能力，仅将其用作预言机或预测引擎，它能告诉我们做某事的后果，但由人类做决策。但如果我们想要能代表我们行动的自动决策AI，就必须解决这种基于信念交流的对齐问题。

💬 精华片段（中文）

“我们如何解决这个问题？作为人类，我们是通过交流信念来解决的。……当我们每个人对对方的信念形成机制有了非常合理的模型，那时唯一的分歧原因就是奖励函数上的分歧。” “The way that we solve this problem as people is we talk about our beliefs. ... each of us has a very reasonable model of the belief formation mechanism that the other person has at which point the only cause for disagreement is a disagreement about the reward function.”

---

涌现、程序合成与人类未来的角色

本节重点

• Jeff认为涌现的定义不应基于“无知”（无法预测），而应基于向下因果关系，这提供了一个务实的工具：告诉我们无需建模微观现象。
• 在程序合成上，对象中心的模型是为“自动化系统工程”而生的，而系统工程就是组装程序块。当前的程序合成缺乏像GitHub那样的大规模优秀代码库来发现模式。
• 当一切都能由机器人完成时，人类的独特之处将在于我们的欲望系统。人类在创造欲望和享受上可能仍具优势，因为机器人没有内置的目标。

详细精要

• 涌现的定义应务实且基于向下因果关系：Jeff不喜欢基于无知的涌现定义。
• 有一类涌现文献将“我未能预测到的现象”定义为涌现，Jeff认为这是一种以人类中心、基于无知的定义。

• 他更喜欢带有向下因果关系的涌现定义。这不仅是一个关于何时可以认为现象“涌现了”的严格定义，还提供了实用工具：它告诉你，微观现象已经不需要再建模了。所以，他对涌现的兴趣不在于其如何从简单规则中产生，而在于大规模对象的属性及其数学描述。

• “生命游戏”与“Lenia”是测试物理发现算法的好沙盒：他们正在用这些环境来测试其理论。

• Jeff提到在Lenia模拟中，有像小变形虫一样的游泳者。当它们撞到障碍物时，会变形甚至失去身份，随后又自我重组。他们的物理发现算法想要捕捉的，正是这种物体在变形后是否会失去身份再重获身份的过程。

• 他们的方法是发现“效力”或宏观规则，而不是关心底层的微观力。这和计算机科学界对元胞自动机的兴趣点一致：关注那些大型物体的行为，而非其构成的简单规则。Keith对元胞自动机的兴趣在于它们能任意扩展内存，并可以通过随机梯度下降学习更新规则。

• 对象中心方法是为实现“自动化系统工程”而生：这与程序合成的目标是相通的。

• Jeff团队采用对象中心的世界描述，终极目标之一是自动化系统工程。而系统工程，就是把物体一个个连接起来做成新东西，这与程序合成（将程序片段组合成复杂程序）是高度抽象的相同过程。

• 目前的程序合成生成的程序对人类来说往往难以理解，是一个由规则组成的巨大复杂体。但Jeff认为可以用借鉴生物学/遗传学的方法来改进：就像Tony Zador的论文那样，将神经网络各层的功能做遗传编码，然后在大量已解决不同问题的网络库中寻找可复用的“遗传模块”。程序合成也需要这样的一个大规模、高质量的程序集，就像GitHub一样，来学习和发现这种模式。

• 人类的未来在于我们的欲望与艺术感知力：如果机器人可以完成所有工作，人类的价值何在？

• 这个问题触及了价值体系的根本。所有机器人和AI都是被设计来完成特定目标的，它们没有内置的欲望。它们不会主动想要画画或写交响乐。
• 然而，人类有能力决定什么是重要的，我们能创造并沉迷于AI可能不会自发创造的艺术和体验。因此，即使在一个高度自动化的世界里，人类的独特价值可能在于设定欲望、创造艺术、享受过程这些内在的体验。我们的目标系统，是我们与工具的根本区别。

💬 精华片段（中文）

“我觉得有趣的不是复杂事物能从简单局部规则中产生……我感兴趣的是，那些产生的大尺度对象的属性是什么？” “What I find interesting though isn't the fact that like complicated stuff can result from like simple local rules. What I find interesting is like well what are the properties of the resulting large scale objects?”

---

专业术语注释

术语	解释
贝叶斯推理 (Bayesian Inference)	一种基于贝叶斯定理，通过结合先验知识和新数据来更新对某一假设的置信度的统计推断方法。在播客中被视为封装了科学方法的规范性框架。
狄利克雷过程先验 (Dirichlet Process Prior)	一种在非参数贝叶斯模型中使用的先验分布，常用于聚类问题，允许潜在簇的数量随数据增长而增长。
中国餐馆过程 (Chinese Restaurant Process)	狄利克雷过程的一种形象化比喻，用于描述新数据点加入已有簇或形成新簇的概率过程。
可供性 (Affordances)	环境提供给动物的、可以被其利用的行动可能性。在播客中，指一个智能体在当前环境下能够执行的、并能导致预期结果的干预行为。
马尔可夫模型 (Markov Model)	一种统计模型，其核心假设是下一状态的概率仅取决于当前状态，而与更早的历史无关。在此用于比喻引入动量变量后如何简化计算。
向下因果关系 (Downward Causation)	指一个系统的宏观状态对其微观组成部分施加因果影响的假设。Jeff将其作为判断宏观变量是否合理和系统行为是否“涌现”的一个关键实用标准。
主动推理 (Active Inference)	卡尔·弗里斯顿提出的理论框架，将感知、学习和行动统一在最小化自由能（即最小化意外或不确定性）的原则下。
自动微分 (AutoGrad)	一种自动计算函数梯度的技术，是深度学习框架（如TensorFlow, PyTorch）的核心。它使得开发人员无需手动推导和实现反向传播的复杂方程，将AI开发转变为工程问题。
Mamba	一种基于状态空间模型的神经网络架构，被视为Transformer的有力竞争者。Jeff用它来证明大规模扩展，而非Transformer特有的注意力机制，才是能力提升的关键驱动力。
归一化流 (Normalizing Flow)	一种生成模型，通过一系列可逆变换将一个简单的分布（如高斯分布）转化成复杂的分布。Jeff指出扩散模型是其一种特殊的训练方式。
自然梯度 (Natural Gradient)	一种优化方法，它考虑参数空间的几何结构（使用费舍尔信息矩阵），而不是像标准梯度下降那样假设其是欧几里得空间，从而能更高效地进行参数更新。
坐标下降 (Coordinate Descent)	一种优化算法，每次迭代只沿着一个坐标方向寻找函数最小值，而固定其他坐标不变。
专家轨迹学习 (Expert Trajectory Learning)	一种让机器人通过模仿人类专家的操作行为（轨迹）来学习技能的方法，如模仿人类将杂货放入冰箱的动作。被Jeff视为一种未能让机器人理解底层物理世界的方法。
程序合成 (Program Synthesis)	AI领域的一个分支，目标是自动生成满足用户指定意图（通常是输入输出样例）的计算机程序。

延伸思考

1. 可扩展的贝叶斯 vs. 不可解释的深度学习：如果“大量小模型”的贝叶斯框架能实现同等级别的智能，其显式的、可解释的对象表征是否会比深度学习大模型在安全关键领域（如医疗、法律）具有压倒性优势？
2. 模拟到现实的“最后一公里”：Jeff强调模拟器需要“足够好的物理”，但这本身就是个难题。如何界定物理真实度的“足够”门槛？这是否意味着我们要先构建一个完美的世界模拟器，然后才能在其内部训练出实用的物理世界AI？
3. 关于涌现的认知偏见：Jeff尖锐地批评了基于“人类预测能力不足”下的涌现定义。这引出一个问题：如果一个现象因为计算不可约而确实无法提前预测，我们该如何区分“真正的因果涌现”和“基于计算能力的无知”？
4. AI对齐的“信念交谈”在不可信AI上的应用：如果AI系统是纯粹的黑盒，其输出的“信念解释”本身可能就是为了最大化奖励函数而编造的谎言。在这种场景下，Jeff的对话式对齐方案是否完全失效？
5. 人类价值的特殊性：在“一切皆由机器完成”的未来，将人类价值归结为“独特的目标体系”是否过于简化？如果人类的欲望也可以通过逆向工程或优化被理解和操纵，人类是否还能保持其独特性？

原文发表：Dec 31, 2025  ·  纪要生成：2026-06-29