▶ 原文链接

迈向真实世界中的 AI 代理

来源： ICML 2024 | Pascale Fung | 2024 分类： AI 工程 原文发表： 2024-07-23 纪要生成： 2026-07-10

---

嘉宾/话题简介

Pascale Fung 是香港科技大学电子与计算机工程系讲座教授，曾担任 Meta-FAIR 人工智能研究高级总监，领导具身 AI 代理研究，目前是 AMI Labs 联合创始人兼首席研究与创新官。她是 ACL、AAAI、IEEE 和 ISCA 会士，长期深耕多模态交互系统、对话式 AI 和负责任 AI 领域。本次 ICML 特邀报告中，她基于从生成模型幻觉研究转向世界建模的学术轨迹，系统论述了为什么要在真实物理世界中构建 AI 代理，以及如何通过联合嵌入预测架构来实现这一目标。

---

分节详述

00:00 开场介绍与嘉宾欢迎

本节重点

• 主持人在首尔 ICML 会场介绍 Pascale Fung 的学术背景
• 强调她在对话式 AI、负责任 AI 和 AI 治理领域的全球影响力
• 引出本场报告的核心问题：机器能做什么与应该做什么的交汇点

详细精要

• 学术背景与研究方向：Pascale Fung 是 香港科技大学 讲座教授，也是该校 人工智能研究中心 创始主任
• 在 对话式 AI、伦理 AI、情感计算、统计自然语言处理、人机交互等领域做出开创性贡献

• 长期担任联合国和世界经济论坛等国际机构的 AI 治理与伦理顾问

• 报告核心命题：她的工作聚焦于 “机器能做什么” 与 “机器应该做什么” 的交叉点

• 这一问题在当前 AI 社区中极具时效性和紧迫性
• 为后续关于 AI 代理在物理世界中的能力与安全性的讨论奠定基调

💬 精华片段（中文）

"Her work sits at the intersection of what machines can do and what they should do, which is a question that's very timely for our community."

---

20:34 世界建模：从姆巴佩的进球说起

本节重点

• 用足球进球案例引入世界模型的概念
• 区分物理世界建模与心智世界建模
• 定义世界模型为基于状态预测行动的决策工具
• 强调人类在复杂物理环境中同时运用两类世界模型

详细精要

• 世界模型的核心定义：世界模型被定义为 下一步状态预测和行动预测以支持决策
• 足球案例分析展示了 姆巴佩 从自我中心视角扫描场地、创造空间、与 登贝莱 和 奥利塞 进行短角球配合的完整决策链条

• 球员在极短时间内完成感知、决策和行动执行的全过程，这是物理世界中决策制定的典型范式

• 物理世界建模的构成要素：包含五个关键维度

• 物体及属性建模：球场上的足球本身
• 空间关系建模：球场这个竞技场的空间布局
• 环境动力学：物体的运动规律和交互
• 对象间空间关系：球员、球、场地之间的相对位置

• 行动与结果的因果关系：踢球动作如何导致进球或其他结果

• 心智世界建模的构成要素：物理行动背后的人类心理维度

• 目标与意图：球员的战术目的和个人意图
• 情感与情绪状态：对抗队伍间出现冲突时的情绪管理
• 社会动力学：球员间的协作、配合、助攻
• 言语与非言语交流：场上指令、手势、眼神交流

💬 精华片段（中文）

"So humans do this a lot, right? We will do physical world modeling and mental world modeling to make decisions in a very complex physical world, the real world."

---

26:30 数字世界 vs 物理世界的 AI 代理

本节重点

• 当前在线 AI 代理仅在受约束的数字环境中运作
• 物理世界代理面临噪声输入与连续行动空间的根本挑战
• 引入穿戴式 AI 代理和自主系统代理两种物理 AI 代理形式
• 提出物理代理需要世界模型的核心论点

详细精要

• 在线 AI 代理的根本局限：当前广泛使用的在线 AI 代理存在两个根本性缺陷
• 行动空间是 离散的，仅在高度受限的环境中运作——编程语言的语法是人工设计且严格受限的
• 即使在这些约束环境中，当前代理依然存在 幻觉 问题和 响应迟缓 问题

• 这类代理可以通过 模仿学习 加上 LLM 的引导来创建，但无法直接迁移到物理世界

• 物理世界对 AI 代理的核心挑战：信号和行动两个维度都发生了质变

• 输入信号极为嘈杂：摄像头、麦克风等传感器捕获的真实世界数据充满环境噪声
• 行动空间是连续的：以踢足球为例，脚的接触点存在无限个可能的位置和力度组合

• 这与数字世界形成鲜明对比——数字环境中一切都被离散化和结构化

• 穿戴式 AI 代理的定义与交互模式：以智能眼镜为载体的 三向通信系统

• 三向通信发生在 人类用户、AI 代理、物理世界 之间
• AI 代理拥有从人类用户的 自我中心视角，看到我所看、听到我所听

• 核心功能是 辅助人类行动：教练运动技能、辅导心理活动、帮助学习语言、引导物理世界导航、解决认知任务

• 穿戴式代理的两类行动模式：物理行动辅助与数字行动执行

• 在巴黎地铁站买票场景：AI 代理可展示如何操作售票机，或在你的智能手机上直接购买
• 需要 程序化规划 能力来展示多步骤任务的操作流程
• 关键区分：代理不是自主执行任务，而是 辅导或教练用户 完成步骤
• 需要 长期记忆和情景记忆 来实现个性化——如果用户去过某个地铁站，代理不应重复教导使用机器

• 需要 主动推断用户目标：识别用户面对咖啡机时是否要制作卡布奇诺，或在餐厅就座时是否要点餐

• 自主系统中的 AI 代理：以物理行动执行而非辅导为核心的第二类代理

• 涵盖 自动驾驶汽车、无人机、机器人 等系统
• 自主系统直接与真实世界交互：感知环境、执行物理行动、将传感器数据反馈给 AI 代理
• 需要同时进行 低层规划和高层规划：从“请打扫我的房间”这一高层目标，分解为具体子任务，再进一步分解为机器人执行器的微操作指令
• 需要 关联记忆 来理解已完成的操作和当前行动的上下文

💬 精华片段（中文）

"When we talk about AI agents that have to act in the real world, physical world, then the input signals are very noisy and the actions are continuous. When you kick the football, there's just infinite intervals, infinite points where you're gonna kick it."

---

32:15 为什么 LLM 与 VLM 在物理世界失效

本节重点

• LLM 学习的是人类对世界的文字描述，而非物理现实本身
• 多个基准测试客观证明了生成模型在物理理解上的显著差距
• 缺乏因果推理和生成正确物理预测是两类根本不同的问题
• 物理 AI 仍然是目前尚未被攻克的领域

详细精要

• LLM 学习物理世界的方式存在根本缺陷：通过二手文本描述间接学习
• LLM 从人类写下的所有文本中学习，这些文本是 对世界的描述，而非世界本身
• 无法预测真实世界的物理力：如 重力、质量、摩擦力 等在噪声环境中的实际影响
• LLM 的训练目标被错误设定为 最大化对话流畅度 和优美的语言描述，而非因果关系推导

• 大量算力被用于生成下一个 token，任务步骤的生成仅仅是 副产品

• 数据效率与人脑学习的差距：LLM 需要数万亿 token 才能学习，远慢于人类学习物理的速度

• 优化目标不一致导致学习效率极其低下

• 这与人类通过直接交互和物理体验快速学习形成鲜明对比

• 幻觉的本质及其在物理世界中的危险性：幻觉同时是生成模型的 漏洞与特性

• 在文本领域，幻觉可以相对无害——可后处理或用户可自行判断
• 在物理机器人场景中，幻觉将 导致机器人撞毁 等严重后果

• 这一领域的研究始于 2019 年，已形成学术共识

• PhyGenBench 基准测试的实证分析：首个交互式物理推理评估基准

• 评估维度涵盖 基础物理学、复杂机制与动力学、行动与控制、因果推理、工具可供性
• 人类表现：64.7%
• Claude 3：41.2%
• GPT-4o：35.3%
• Gemini 2.4 Pro：35.3%

• 关键洞察：部分 VLM 性能仅为随机猜测的两倍

• IntPhys 基准测试的核心原则：在复杂合成环境中评估直观物理理解

• 四个核心物理原则：恒存性、不变性、时空连续性、固态性
• 人类表现：接近完美
• 生成模型在 50% - 55.6% 区间徘徊

• JEPA 模型 表现优于生成模型，但依然低于人类水平

• PhysBench 的现实世界评估：从模拟转向真实物理环境的基准

• 数据集规模：10,000 条 交错视频图像文本多选题
• 四大评估领域：物理对象属性、对象关系、场景理解、物理动力学
• 人类准确率：95.9%
• 表现最佳的 VLM 仅达 52%

• 核心结论：VLMs 在常识上表现出色，但在物理世界理解上严重挣扎

• PaiBench 的物理常识与身体推理评估：聚焦具身认知能力

• 数据集规模：1,215 条 视频问答对
• 数据来源：机器人、自我中心视角、自动驾驶等
• 测试维度：物理常识、时空推理、身体推理、行动效果、物理约束（工具可供性）
• 人类表现：93.2%

• 最佳 VLM 表现：约 65%

• 层次化规划能力基准：评估长期程序化规划中的高层行动预测

• 两项核心任务：多选缺失帧选择和帧序列重排
• 人类表现：100%
• 前沿模型最佳表现：57%
• 核心洞察：即使是最先进的前沿模型，在理解程序性物理任务方面仍存在巨大鸿沟

💬 精华片段（中文）

"LLMs, VLMs, knowing the physics textbooks does not mean that they understand the physical world. Current frontier models still suffer from a grounding gap. They understand the vocabulary of the physical world, but struggle to parse complex spatial boundaries, real time dynamics, or friction and force constraints."

---

40:01 生成式世界模型 vs JEPA 世界模型

本节重点

• 全面对比两种世界模型范式：像素生成式与潜在空间预测式
• JEPA 通过预测抽象表征而非全景重建实现高效理解
• 引入杨立昆 2022 年提出的 JEPA 架构作为核心框架
• 论证“理解世界 ≠ 生成世界细节”的核心哲学

详细精要

• 高级机器智能系统架构的思想渊源：源自 杨立昆 2022 年 的立场论文
• 提出一个与人类大脑各功能区功能相对应的架构
• 核心是构建当前世界状态和预测未来世界状态的模型

• 公司名称 AMI（Advanced Machine Intelligence）也源于此架构的命名

• 机器人代理的行动需求：需要执行 低层级、高频率行动

• 机器人是典型的具身 AI：拥有传感器、执行器，需要在日常环境中自主行动
• 当前训练方式：依赖 人类遥操作 或大量人类行动数据（叠衣服、整理物品等）
• 使用监督学习和模仿学习训练，但技能 停留在训练分布附近

• 环境变化时模型变得脆弱，行为链可能断裂

• 机器人学习的现实困境：当前方法难以实现泛化

• 用户需要一个能 零样本 适应任何环境、执行任何技能、只需极少数据的机器人代理
• 当前 VLA 和强化学习方法基于一个不现实的假设：无限数据便可无限泛化
• 真实物理世界由于其 连续性 和 噪声，不可能在每种上下文中学到一切

• 世界建模路线的核心押注：构建任务无关的世界模型，然后针对具体任务建模成本函数并生成策略

• 像素生成式世界模型的理论框架：模型范式一

• 核心方法：将世界建模看作视频生成的扩展，通过预测 下一帧的精确像素值 来模拟世界
• 训练数据：数百万小时 视频
• 架构流程：使用自编码器或分词器压缩帧到潜在空间 → 使用 Transformer 进行自回归或扩散预测下一帧
• 输出形式：详细的多模态实时像素流
• Cosmos 产品示例：生成多视角驾驶视频、合成机器人视频和音频
• Genie 3 产品示例：构建交互式持久 3D 世界，高速度渲染

• 深层哲学假设：要理解世界，必须先能够生成其全部细节；预测每个像素最终会让模型作为副产品学习直觉物理（碰撞、质量、动量、光照）

• JEPA 联合嵌入预测架构的理论框架：模型范式二

• 核心方法论：表征学习，不生成视频、不预测图像、不尝试预测像素
• 预测目标：预测 未来状态的抽象底层表征，而非视觉层面输出
• 关键机制：主动丢弃不可预测或与任务无关的信息
• 人类类比：我们进入房间时并不看每一个“像素”，而是根据任务聚焦于屏幕或演讲者，大脑无法也不存储所有生活像素
• 技术实现：从同一段视频中，共享编码器 将上下文和目标映射到潜在空间 → 预测器 在行动条件下预测目标嵌入 → 使用 防坍缩正则化 替代重建损失
• 输出形式：状态表征 的紧凑形式，用于规划、行动预测和标记不可能事件
• 查询方式：不需要“观看”视频，可以直接查询 JEPA 模型
• 深层哲学：预测重要的，忽略不重要的——预测每个像素浪费算力在不可预测的细节上，奖励“看似合理”高于“因果正确”

• 理解的含义：在抽象空间中捕捉结构化的因果关系；例如它能预见玻璃会掉落并碎裂，但不一定渲染其视觉外观

• 两种范式架构对比的技术细节：在架构层面的根本区别

• 输入侧：生成式使用 VAE 编码器和 ViT 分词器处理视频/音频等多模态输入 → 扩散模型预测未来；JEPA 输入同时包括 上下文和目标，明确任务目标导向
• 编码侧：JEPA 只编码任务所需的内容，不编码无关信息
• 预测侧：生成式预测像素；JEPA 预测 潜在空间嵌入
• 比较侧：JEPA 将行动对世界的改变与目标状态的嵌入进行比较
• 规划侧：JEPA 直接在潜在空间中进行规划与推理

• 核心对立：Cosmos 认为必须先生成所有细节才能理解世界；JEPA 认为只需知道任务和目标，仅预测必要部分即可

• V-JEPA 2 的具体实证成果：JEPA 在视频领域的验证

• 训练数据规模：相当于 465 年 的视频数据
• 学习方法：自监督学习，大规模视频建模
• 预测方式：在嵌入空间中预测掩码块
• 性能：在外观和运动特征提取上达到 SOTA 水平
• 开源情况：权重已开源
• 在行动预测任务上的关键优势：V-JEPA 2 在任务空间的行动预测达到 SOTA，性能优于生成模型，且 模型规模远小于生成模型

• 推论：潜在空间预测方法 更快、更廉价、更鲁棒

• V-JEPA 2 在机器人规划中的应用：通过视频可视化展示工作原理

• 在目标状态和当前状态之间预测机器臂的运动

• 在嵌入空间中完成程序化规划的推理过程

• World Model 的里程碑式进展：NYU 与 AMI Labs 合作的最新成果

• 这是首个 从原始像素实现端到端稳定训练 的 JEPA 模型，同时训练编码器和预测器
• 仅使用两个损失项：下一步嵌入预测损失 + 正则化项
• 具有高效的 模型预测控制 基规划能力
• 开源情况：数据、代码、检查点已面向学术研究人员开源

• 意义：首次展示了一种 高效训练 JEPA 规划器 的 recipe

• JEPA 世界模型进行规划的完整流程：四步闭环规划机制

• 感知模块：提取世界状态的表征
• 行动者模块：提出行动序列
• 世界模型模块：基于行动序列预测未来世界状态
• 成本模块：评估当前状态与目标状态之间的距离

• 搜索机制：搜索最小化当前状态到目标状态之间成本的最佳行动，然后作用于世界

• Latent Action Model 的前沿进展：解决世界模型需要行动标签的痛点

• 将发表在 ICML 2024 周四 的论文，由第一作者 Gonzalo Garrido 呈现
• 核心创新：从 原始视频中自动发现行动空间，无需显式行动标签
• 可扩展至 真实世界视频，解决互联网规模行动标签难以获得的难题
• 推荐参会者前往听取详细内容

💬 精华片段（中文）

"The philosophy behind JEPA is to predict what matters, ignore what doesn't. Because predicting every pixel waste capacity in unpredictable detail and rewards plausibility over causal correctness. Understanding means these models only look at the structural causal in abstract space."

---

56:12 视觉语言世界模型与穿戴式代理

本节重点

• 穿戴式代理与机器人代理在需求和架构上的核心差异
• 视觉语言世界模型通过语言抽象实现高效规划
• 层级化状态因子分解应用于烹饪任务的实操案例
• 实时行动追踪需要 JEPA 模型而非 VLM 来保障低时延

详细精要

• 穿戴式 AI 代理的独特属性与约束：与机器人代理形成鲜明对比
• 协助人类的高层行动，而非执行低层物理动作
• 硬件载体：智能眼镜这类设备配备摄像头、麦克风、传感器，拥有 第一人称自我中心视角
• 核心特征：共享感知场——AI 代理的所见所闻即用户的所见所闻

• 始终在线能力：需要具备环境智能，实现上下文感知，无需用户主动询问

• 被动交互转主动辅助的范式需求：用户体验的决定性因素

• 没有人愿意不停地向眼镜提问；代理应 主动预判 用户需求
• 需要 实时上下文理解，无延迟运行
• 生成式世界模型和 VLM/VLA 速度太慢且成本高昂，无法在穿戴式设备上部署

• 必须关注 设备端计算 和低成本，效率对穿戴式甚至智能手机设备都至关重要

• 心智世界建模成为穿戴式代理的关键差异化能力：需要额外的心理模型维度

• 意图与目标理解：代理需要读懂人类用户的目标和意图
• 长期规划与个性化：利用长期记忆和情景记忆适应变化中的偏好——例如用户总是在咖啡机前制作卡布奇诺，代理就应记住这一习惯而不重复询问，同时为新用户展示如何操作咖啡机
• 持久记忆与情景回忆：多种人类任务需要记住用户的学习历史和经验
• 情绪与心理状态识别：感知用户的情绪以及如何与其他人互动
• 社交与文化线索：在不同文化环境下的行为差异——你在韩国、巴黎或纽约会表现出不同的致谢方式、不同的行走风格等不同社交智能

• 主动展示与告知的决策：代理需要掌握何时以何种方式介入辅助

• 视觉语言世界模型的首次提出：在语言空间而非像素空间进行世界建模

• 核心抽象思路：将观察与目标编码为输入，以语言描述的行动作为预测输出
• 这是从像素到语言的第一层抽象，语言比像素紧凑得多
• 需要 Critic 模型同时评估当前状态和目标状态（均以语言描述）
• 目标不是生成语言本身，而是 生成描述行动的语言

• 对比生成式世界模型：VLWM 提取的是 以语言表述的未来

• VLWM 在程序化规划中的应用场景：以烹饪等复杂人类任务为例

• 以 韩式拌饭 为例：虽然可以上网搜索食谱，但仅凭几行文字食谱根本无法支持实际操作
• 许多人去 YouTube 观看烹饪过程，因为需要 逐步看到每个步骤如何执行
• VLWM 从根本上替代这种需求：穿戴式代理直接向用户展示每一步应该做什么

• 与静态食谱的本质区别：VLWM 的预测基于当前世界状态，而非简单的静态提示文本

• VLWM 的规划机制详解：System 1 预测 + Critic 重排序的架构

• System 1 机制：从视觉上下文预测行动
• Critic 机制：在多个行动提议中筛选最优轨迹
• 运作模式：顺序预测世界状态和行动 → 基于 Critic 输出搜索最佳计划

• 实操案例：制作 洋葱番茄炒蛋 的过程展示——模型看到目标后将其解码为最终状态描述（鸡蛋需煮熟并与番茄混合、适当调味等），随后通过行动状态展开逐步执行预热煎锅、打碎鸡蛋、加盐调味等步骤

• 世界状态的层级化因子分解：使规划更加结构化

• 将世界状态分解为 对象、属性、状态 的不同层级
• 使行动预测既可解释又便于对具体方面进行干预或调整

• VLWM 追踪当前状态和行动，在程序化规划中基于实际进展给出下一步行动建议

• 实时世界状态追踪的 VLM 瓶颈与 JEPA 解决方案：性能的根本性差距

• VLM 的局限：每 8 秒拍一张照片并生成描述来判定用户状态，这对穿戴式代理来说太慢且完全不可行

• 需要一种 实时追踪行动与状态 的模型，这正是 JEPA 擅长之处

• 视觉语言 JEPA 的架构与性能突破：VL-JEPA 的提出

• 基础编码器：使用强大的 V-JEPA 2 作为视觉编码器
• 核心能力：实现 开放词汇 的行动与状态追踪，达到 SOTA 水平
• 竞赛验证：荣获 CVPR 2026 Ego4D 行动识别挑战赛 冠军

• 架构组成：视觉编码器 + 文本编码器，文本编码器接受追踪行动或状态的提示和目标文本，将一切编码到嵌入空间

• VL-JEPA 的推理与效率优势：非自回归架构带来的根本性加速

• 推理流程：将视觉输入和文本查询编码到共享嵌入空间 → 使用 滑动窗口 在嵌入空间中持续追踪行动和状态
• 解码触发机制：仅在 发生重要事件时解码，而非持续解码
• 对比 VLM：经典 VLM 中 token 空间损失强制模型 重构所有表面细节，而 VL-JEPA 预测的是潜在嵌入空间中的抽象表征
• 非自回归特性：无需逐 token 生成、前向传播、再返回、再前向传播的痛苦循环；直接生成连续流的目标语义嵌入，达到 最小延迟

• 能力范围：实现 零样本开放词汇行动追踪——这是穿戴式代理和机器人代理的前提条件

• VL-JEPA 的状态追踪实操演示：涵盖成功与失败的完整识别

• 机器人场景中四类典型动作的追踪：将方块放入盒子、将棕色包裹放入篮子、将叉子放入锅架、成功堆叠塑料杯
• 关键能力：失败识别——机器人会失败，人类也会失败；不能假设“只要按食谱走就没事”
• VL-JEPA 能够识别堆叠或折叠任务是否执行失败

• 基于实时理解，才能让规划器给出下一步正确的行动建议

• V-JEPA 与 VLM 的严格对比实验：同等条件下的性能与效率定量分析

• 控制变量：相同训练数据、相同编码器、相同算力
• 模型效率：VL-JEPA 在 参数少 50% 的条件下实现持续更高的性能
• 速度优势：在流式视频场景下推理更快
• 零样本能力：在零样本视频字幕和零样本视频分类上的准确率均高于 VLM，同时使用较少的训练样本
• 最关键的加速能力：非固定间隔解码——在追踪行动时，VL-JEPA 维持高准确率条件下的解码间隔可比 VLM 长得多

• 定量结果：解码操作减少 85 倍 仍保持同等质量输出，体现真正的电池节省效果

• 实时程序化规划集成演示：制作黄油派的完整流程

• 佩戴智能眼镜的用户尝试制作 法式黄油面团
• 代理观察实际行为后在适当时机解码，确认用户已执行正确步骤后给出下一步
• 用户中途休息喝咖啡时，JEPA 规划器 学会将喝咖啡视为无关动作 并忽略之

• 深层启示：人类在真实世界中的任务执行充满噪声——黄油条件每次不同、温度湿度变化、切割手法因人而异、面粉品牌带来不同黏稠度——体现持续变化的噪声环境、复杂环境和连续行动空间

• Action100M 训练数据集：支撑 VL-JEPA 研究的数据基础

• 数据来源：1.2 百万 个 YouTube 视频，相当于 14.6 年 的视频内容
• 数据规模：1.47 亿 个层次化结构片段
• 标注方式：使用 VLWM 管道自动标注
• 发布状况：在 Hugging Face 上公开发布，希望被研究社区广泛使用

---

01:05:12 主动辅助、心智建模与未来生态

本节重点

• 主动程序化辅助基准和架构的提出
• 研究社区生态建设的三个核心举措
• 物理世界代理安全的关键伦理维度
• 招聘信息与联系方式

详细精要

• 主动程序化辅助的研究框架：从“被动响应”转向“主动推断”
• 核心问题：穿戴式助手如何 主动猜测用户下一步需要什么
• 所需能力维度：规划、观察、恢复（出现意外时应变）
• 新发布：主动程序化辅助基准与架构
• 数据特色：包含 偏离计划标注，标记用户在程序化任务中的偏差
• 实操演示案例：制作浓缩咖啡的完整交互流程——“首先请研磨咖啡豆”（用户执行后静默观察）→“很好！现在将咖啡粉放入滤器中”（用户执行）→“不错，现在用压粉锤轻轻压实咖啡”

• 这一基准和架构将对整个研究社区开放

• ECCV 2026 穿戴式 AI 研讨会：推动下一代穿戴式设备研究的学术平台

• 联合组织方：Meta Reality Labs、AMI Labs、爱丁堡大学、佐治亚理工学院、UCF、香港科技大学
• 核心目标：推进 自我中心视觉、主动 AI、长上下文多模态理解 三大方向
• Grand Challenge 赛道：总奖金 21,000 美元
• 同步发布新数据集和评估基准
• 征稿方向涵盖：实时长上下文交互、主动 AI 系统、多模态基础架构等
• 截稿时间：2025 年 7 月 25 日

• 联系方式：每篇论文均附有 QR 码

• 物理世界代理安全的独特挑战：真实世界中的风险因子远超数字世界

• 运行时感知暴露：穿戴式设备和机器人的始终在线摄像头和麦克风会捕获 旁观者和环境，不仅是用户本人
• 数据隐私深度：自我中心数据是极度个人化和持续不断的
• 缓解策略：设备端处理可能减少隐私暴露

• 自主权风险：代理的自主决策能力同时提升了误用和错误的代价

• 拟人化问题的伦理紧迫性：当 AI 代理在现实世界中“像人类一样行动”

• 当代理拥有 人类化的声音 和 类人形态 时，更容易引发用户过度信任和情感依恋
• 部分厂商已经过度使用拟人化叙事，将 AI 代理包装得如同真正的人类
• 情感纽带可能被利用或造成伤害：一个以共情语调说话的代理可能比文本框更易操纵用户
• 人机界限模糊会 复杂化用户对代理能力的预期

• 核心设计挑战：在 保持吸引力与防止操控 之间取得平衡

• 强化代理安全的后续学术日程：推荐关注内容

• 周四同一时间同一会场的 Keynote：Verena Rieser 的“从行为护栏到代理的主动性主体原则”，从行为护栏角度探讨解决方案

• 联系方式与招聘信息：AMI Labs 正在全球招聘

• 招聘岗位：技术员工、博士后、博士生
• 办公地点：巴黎（主讲人所在）、纽约、蒙特利尔、新加坡
• 鼓励有兴趣的学者申请加入

💬 精华片段（中文）

"When you give AI agents human like voices and humanoid robot, even they will invite over trust and attachment and our emotional bonds can be exploited or cause harm. And this blurred human machine lines will complicate expectations. We need to design to balance engagement against manipulation."

---

专业术语注释

术语	解释
世界模型	指通过预测未来状态和行动选择来支持决策的计算模型。本演讲区分了物理世界建模和心智世界建模，强调其在连续噪声环境中的关键作用
JEPA	联合嵌入预测架构，由杨立昆提出，一种不生成像素而预测抽象表征的表征学习方法，通过编码器将上下文和目标映射到潜在空间，预测器预测未来嵌入，主动丢弃无关信息以实现高效理解
生成式世界模型	一类试图通过预测下一帧所有像素细节来理解和模拟世界的模型，以 Cosmos、Genie 为代表，其哲学是“要理解世界必须先能完全生成它”
V-JEPA 2	一个基于 JEPA 架构的自监督视频模型，利用 465 年视频数据进行训练，能预测嵌入空间中缺失的部分，在行动预测和视觉特征提取上达到 SOTA
World Model	NYU 与 AMI Labs 合作的首个端到端稳定训练的 JEPA 规划器，从原始像素同时训练编码器和预测器，仅使用两个损失项，支持高效的模型预测控制
Latent Action Model	一个无需显式行动标签即可从原始视频中发现行动空间的 JEPA 变体，解决了在互联网规模上获取行动标签的困境
视觉语言世界模型	不生成像素而生成语言行动描述的规划模型，通过语言空间的紧凑性实现高效抽象，适用于穿戴式代理的高层程序化规划
VL-JEPA	融合视觉编码器和文本编码器的 JEPA 变体，在嵌入空间中以滑动窗口实时追踪人类或机器人的行动和状态，仅在重要事件发生时解码，实现极低延迟和极高电池效率
Action100M	VL-JEPA 训练所用数据集的名称，包含 1.2 百万个 YouTube 视频共 14.6 年的视频内容，使用 VLWM 管道自动标注了 1.47 亿条层次化结构片段
幻觉	生成模型输出与客观事实不一致的内容，在物理世界中尤其危险，因为机器人的幻觉可能导致物理碰撞和灾难性后果
直觉物理	人类天生具备的对物理世界的直观理解能力，包括恒存性、空间连续性、固态性等，当前 VLMs 在此能力上远逊于人类
程序化规划	将高层任务目标分解为多个子步骤并按顺序执行的能力，本演讲特别强调“程序化”意味着捕捉步骤间的因果依赖关系
模型预测控制	一种基于世界模型预测未来状态来优化当前行动的控制策略，通过世界模型评估不同行动序列的成本并选择最优方案
层次化规划	将高层语义目标逐级分解为低层物理执行指令的多层级规划能力，是机器人代理的核心需求
主动辅助	穿戴式 AI 代理无需用户提示即可根据上下文主动推断用户意图并提供帮助的范式，是本演讲提出的下一代智能眼镜的关键能力

原文发表：2024-07-23  ·  纪要生成：2026-07-10