AI4Physics · Invited Talk 05 · Kelsie Zhao

来源： Invited Talk 05 · Kelsie Zhao 播客： ICML 2026 · AI4Physics 分类： 科学 原文发表： 2026-07-11 纪要生成： 2026-07-13

基本信息

Workshop：ICML 2026 Workshop on AI for Physics (AI4Physics)
类型：Invited Talk
题目：Predict, Act and Control with Large Physics Models（用大型物理模型进行预测、行动与控制）
讲者：Kelsie Zhao（Causal Labs 联合创始人兼 CTO；旧金山 Series A 研究实验室；团队来自将 AI 模型部署到人形机器人、自动驾驶、药物发现等最安全攸关领域的背景；她与联合创始人曾任 Waymo、Cruise 的 AI 部门 co-lead，多年造自动驾驶车）
真实时段：约 11:30（KST，7/11）

一句话概括

Causal Labs 的使命是构建"general causal intelligence（通用因果智能）"——让 AI 学物理而非学语言，从数据中捕获因果；他们选天气作为大型物理模型的起点与试验场（数据量巨大、后果重大），沿 predict → act → control（预测→生成可解释行动→闭环控制）范式，从部分观测反演物理状态、学动力学、注入扰动以引导轨迹，并提出用"匹配未来观测 / probed features / 可解释性"三层来验证"学到的物理"。

背景与动机

公司使命是 general causal intelligence，含三点：(1) 理解反事实（counterfactuals）——若我做 X 而非 Y 会怎样；(2) 能归因/赋credit——某结果因何发生（因 X 而得 Y）；(3) 能泛化——基于第一性原理推理而非分布内相关性。她认为这种对因果（causality）的理解在今天所有 AI 模型中都缺失，而它正是超越生物智能、去解此前不可想象问题（如发现超靶向药物、控制天气）的关键。

主要内容

大型物理模型（Large Physics Model）的假设

做法是构建 large physics model——让 AI 学物理而不是学语言。类比：LLM 仅在海量文本上训练就极强大，能理解文本中内在的抽象推理；那么若选一个内在即因果的物理域、在海量数据上训练，模型就能捕获数据中蕴含的因果性质。问题变成：在所有物理域中选哪个？他们不选（她自身背景的）机器人，而选天气。

为何选天气：技术最优 + 后果最重

技术最优：数据量极大——人类每天采集 >500 TB 天气数据（对比：Llama 3 总共只用 60 TB 训练）；且多模态——不是单一文本/图像，而有卫星图像、气象站、雷达站等差异极大的多模态数据。
后果最重：天气是地球上最有后果的物理系统——航空、公用事业、海运等所有物理产业都依赖天气做决策；因此不止预测，而是预测 + 生成行动（如告知航司因天气延误起飞、告知电力公司派维修队因电力线将受影响，甚至天气控制行动——今天注入何种扰动以最大化明日降雨缓解干旱、或抑制冰雹强度）。天气控制是最难的技术之一，但若能建成也最有后果；而在天气控制之前，已有大量运营型行动能带来巨大经济与社会影响。

技术框架：从部分观测到物理状态

关键在图左侧的部分观测（partial observations）：他们选择不训练在模拟数据上，因为真实物理域永远没有对物理系统的完整测量（永远无法完全测量天气，只有部分观测）——这与自动驾驶一样（只有 lidar/camera/radar 的部分观测，算法要融合并推断物体位置）。因此模型需：

解逆问题（inverse problem）：理解发射出所有部分观测的潜/显式物理状态（latent state）——"什么物理状态发射了这些观测"。
解动力学问题（dynamics）：从当前 latent 状态推到未来状态；架构设计有很多争论，但模型最终必须学会解动力学（理解动力学后，就能知道注入何种扰动会给出你偏好的不同轨迹）。
预测须解释观测：模型对未来的 latent 状态预测，必须能解释你在未来观测到的部分观测——这正是验证"发现的定律是否正确"的方式。此框架在天气、计算流体力学、以及一切做部分观测的物理域（如超靶向药物）都适用。

Predict / Act / Control 三步

预测（Predict）：输入端因天气域比图像/文本更多模态，按稀疏输入 vs 稠密输入分组——

稀疏输入：如气象站（散布地面、连续测量但分散）、气象气球（漂浮、分散）；类似机器人里 lidar 的散点建模，与图像建模方式不同。
稠密输入：如卫星图像——不是自然图像的 RGB，而是频域测量，可达 16–20 个通道，测如反射率/亮温，能区分冰面与草地（发射能量不同）；还有地形/海拔（drastically 影响天气）。因此要做多传感器融合（sensor fusion）（与机器人域一样，但天气是很大的传感器融合问题），首要问题是"用什么样的特征提取器最能从这些差异极大的传感器模态中提取信息"。 动力学建模选择 one-shot 模型（非自回归）：因该域混沌、误差会激进复合，one-shot 一次性预测未来、不显式解码中间状态以避免引入误差。输出端做 state decoding 得到物理状态预测（如未来 1/2/24 小时天气）。 行动（Act）：生成可解释的行动（explainable action）——物理产业要知道"你的模型为何叫我延误起飞"，可解释性对理解与建立信任至关重要。有一个reasoning engine（推理引擎）同时接收物理输入（天气）与非物理输入（运营上下文，如法规——飞机能否起飞取决于机型与诸多法规、操作手册，可为文本/视觉/音频），据此生成行动并解释原因。 控制（Control）：把行动反馈回状态以修改状态——类似机器人中的 state-action 对（行动改变状态）。整体即：从部分观测理解真实物理状态、理解状态动力学、注入行动引导状态走向偏好轨迹，因此须把行动反馈进状态实现 steering。

仅"预测"就面临的挑战

算法复杂度：时空问题，本例是 5D 张量（纬度、经度、海拔、时间，外加回看的上下文）；如何有效编码这些信息很关键；且混沌域下，当前模型架构是否适合建模高维物理状态，答案可能是否。
数据规模：PB 级、不同数据类型；如何建可扩展的大数据管线、是否有冗余可利用、如何有效压缩、是否真需要那么多数据。
超长上下文窗口：若把纬/经/海拔的空间输入全部 flatten 成 token 串过一个 MoE 模型，计算量极大——须质疑现有架构是否合适。
泛化（最重要之一）：预测必须发生在分布外（OOD）——按定义只有截至昨天的训练数据、却要预测明天；如何处理极罕见事件同时抓住大多数情形，极具挑战。

如何验证"学到的物理"（三层）

她认为这是新而关键、却被讨论不足的问题（有一派认为"不必验证学到的物理，只需验证模型预测得好"）：

匹配未来观测：最显然——预测的温度、降水、雨雪必须与实际观测相符，绕不过去；但不充分。
Probed features（探测特征）：若模型真理解物理过程，应能抽取它没训练过的变量。例如仅用卫星图像（测反射率/亮温，并不显式含地面实际温度、位势高度）时，能否从模型编码的隐变量推导出温度、风速、是否降水、位势高度等未训练变量？他们对一列变量做探测，有的表现好、有的差——差可能意味着：要么缺输入（卫星图就是拿不到该信息），要么模型没关注该特征（很有意思，引出"为何模型关注这类输入而非那类、是编码器设计还是损失函数所致"的研究）。
模型可解释性（interpretability）：指 attention 与 input attribution（此处 attention 非专指 transformer，而是"模型在关注哪里"）。如预测明日风/温时，模型是否关注邻近区域、是否关注核心热力学变量？若否，很可能攀附了虚假相关（spurious correlation）。这类分析对理解物理模型、搞清"模型为何给出该预测"至关重要，是 AI 模型测试与验证中新而关键、却被讨论不足的部分。

关键结论 / Takeaways

让 AI 学物理而非语言，在内在即因果的物理域上大规模训练以捕获因果，是通向 general causal intelligence 的路径。
天气是最佳起点：数据量巨大（>500 TB/天，vs Llama 3 的 60 TB 总量）、极多模态、后果最重（所有物理产业依赖）。
predict→act→control 范式：从部分观测解逆问题得物理状态、one-shot 学动力学、生成可解释行动（含非物理运营上下文的 reasoning engine）、把行动反馈回状态做闭环控制。
四大挑战：算法复杂度（5D 张量、混沌）、PB 级数据规模、超长上下文、OOD 泛化。
验证"学到的物理"三层：匹配未来观测、probed features（抽取未训练变量）、可解释性（attention/attribution，防虚假相关）。

Q&A / 讨论亮点

Q1（观众，气象学家）： 我们有很成熟的物理定律来建数值天气/气候模型；你如何把这些物理模型纳入工作流以做更好的控制？数据驱动预测很好，但在变化的气候 / OOD / 紧急情况下，物理模型很擅长。 A1： 我们不注入任何具体物理定律，希望模型从原始数据自学；但基于物理定律与数值求解器的现有模拟是很重要的训练数据——它们提供很好的先验，且能捕获真实世界里稀缺的极端情形（如极端飓风只有几例）。这与我做自动驾驶的经验一致：用这些数据让模型见到极端情形很关键。所以我们看的是如何利用现有模拟帮模型学到已内建的基本原理、并填补缺乏极端事件时的数据缺口。
Q2（观众）： 相比直接用 GCM 或流体力学第一性原理模拟，你的优势是什么？既然你用它当训练数据。 A2： 现有模拟是了不起的技术成就，但有 gap：计算极昂贵——最好的天气预报模型（事实上的最佳是欧盟 ECMWF 的 IFS，及美国若干）空间分辨率仅 10–30 km（旧金山南北才约 6 km，即分辨率比整座城市还大）；流程分两步（先做数据同化 sensor fusion，再解流体力学方程即 Navier-Stokes 做预报），计算耗时长，更新频率低（很多每 6 或 12 小时才更新）。对消费者尚可，但对我们瞄准的物理产业不行——他们要的是机场级 1×1 km、3×3 km 的实时更新（每有传感器更新就要最新数据）。所以现有系统有可利用的知识，但时空分辨率不匹配用例；且天气只是起点与试验场，目的是搭起"从部分观测到物理状态"的整条管线，是完美的起点。
Q3（观众）： 能否用统计学习理论给出这类保证？经典 ML 可用泛化误差定理给误差界；这里系统是物理性的、受自然定律约束，能否据此建一套统计学习理论式的误差界？ A3：（确认理解为"用守恒律等物理定律作模型约束"）答案是肯定的——有不少研究把物理定律作为约束（机器人里也常用，如惩罚车不能横向移动的规划输出）。但我们的假设是更希望模型自己去解，而非注入/摄入约束，以保留"模型是否能利用一切去自行推导"的可能。你的点很好，因为挑战在于监督是稀疏的（如气象站稀疏），在无监督的位置如何约束预测——方式之一是加物理定律约束（不易实现/奏效），另一是用模拟作约束传播定律，使模型不会在无监督处预测出不真实的温度。
Q4（Yannis Kevrekidis）： 我理解机器人里的反馈、天气里的反馈——请讲讲你所设想的"天气的反馈"是什么？ A4： 有几部分。其一在某些地区已在做——如cloud seeding（人工增雨/播云）是最常被理解的，但现在是开环：注入某种盐或化学物质，指望明天下雨是因今天注入的盐，并无闭环。我们的目标是建一个智能层做归因、说清"这确实导致了该结果"。测试方面也如机器人做三级测试（模拟测试、封闭环境、开放环境）：天气控制可先在模拟中看注入某行动后状态如何传播。天气控制有大量研究与安全测试问题（如何安全测试"反馈的行动"并观察真实结果），她欢迎讨论、不淡化其难度。（随后主持人致谢并宣布午餐由 Jump Trading 赞助。）

名词 / 引用

General causal intelligence：Causal Labs 使命，含反事实、归因、（第一性原理）泛化三点。
Large Physics Model：让 AI 学物理而非语言、从内在因果的物理域捕获因果。
天气数据规模：>500 TB/天（对比 Llama 3 总量 60 TB），多模态（卫星、气象站、雷达、气球、地形）。
Predict / Act / Control：核心范式；解逆问题得物理状态、one-shot 学动力学、可解释行动（reasoning engine 融合物理+运营上下文）、行动反馈回状态做闭环。
稀疏 vs 稠密输入 / sensor fusion：气象站/气球（稀疏散点）vs 卫星频域 16–20 通道（稠密）。
验证三层：匹配未来观测、probed features（抽取未训练变量如温度/位势高度）、可解释性（attention/input attribution，防 spurious correlation）。
ECMWF IFS / Navier-Stokes / 10–30 km 分辨率 / 6–12 小时更新：对比现有数值预报的局限。
Cloud seeding（开环）：现有天气干预，Causal Labs 目标是加"归因智能层"做闭环。

原文发表：2026-07-11 · 纪要生成：2026-07-13