AI4Physics · Invited Talk 06 · Yannis Kevrekidis

来源： Invited Talk 06 · Yannis Kevrekidis 播客： ICML 2026 · AI4Physics 分类： 科学 原文发表： 2026-07-11 纪要生成： 2026-07-13

基本信息

• Workshop：ICML 2026 Workshop on AI for Physics (AI4Physics)
• 类型：Invited Talk
• 题目：ML-Assisted Modeling: Something Old, Something New, Something Borrowed, and Some Things That Do Not Matter（机器学习辅助建模：一些旧东西、一些新东西、一些借来的东西，以及一些无关紧要的东西）
• 讲者：Yannis Kevrekidis（约翰霍普金斯大学 Bloomberg 讲席教授，化学与生物分子工程系；兼职应用数学与统计系；化学/生物分子工程师，长期以应用数学建模研究复杂系统的数据驱动建模）
• 真实时段：约 15:00–15:30（KST，7/11）

一句话概括

用"旧 / 新 / 借来 / 无关紧要"四类例子贯穿一个核心论点：如果把成功的机器学习架构"眯着眼睛"看，你会认出你早就熟悉的数值分析算法（ResNet=前向欧拉、有限差分=卷积网络、Runge–Kutta=循环残差网络）。同时展示如何用数据挖掘为复杂系统找到"涌现空间（emergent spaces）"——让本来杂乱的动力学在合适的坐标里变得线性、可积、或呈漂亮的圆环，从而写出更简洁的有效模型。

背景与动机

什么是"复杂系统"

讲者开场自嘲："过去两年论文很难被接收，所以拿到 invited talk 是一种不靠论文也能来的办法。"他多年研究复杂系统的数据驱动建模，先厘清"复杂"的含义（引用他很久以前从 Northwestern 的 Julio Ottino 那里"偷"来的一张幻灯片）：

• 简单系统（simple）：如台球，自由度很少。
• 复杂但可分解的系统（complicated）：如手表、波音飞机——自由度很多，但每个自由度都有各自的职责。
• 复杂系统（complex）：许多鱼、许多人、许多分子——如果用对的方式看，可以得到涌现的宏观方程。

关键点：台球其实一点都不简单——它是分子构成的，是极其复杂的问题；但为了周六晚上打台球，它可以用质量、半径、恢复系数来描述。因此本次工作的核心是：用机器学习为高自由度复杂系统求"有效的、约化的模型"，前提是你知道在哪个层次去看它才有用。

主要内容

Something Old（一）：从一个变量学混沌动力学

一篇"一百年前风格"、标题极度非机器学习的论文——Discrete versus Continuous Time Nonlinear Signal Processing of Copper Electrode Solution Data：

• 实验：把一块铜放进盐酸，配一个对电极，改变金属与对电极之间的电位，测量溶解速率 / 腐蚀速率。不同电位下得到不同时间序列——稳态、振荡、倍周期。底部有用时间延迟做的吸引子重构。
• 难点：只能测一个变量，但要有混沌的非线性动力学至少需要三个变量。如何从一个变量得到三个？
• 方法：借助 1991 年论文 Nonlinear Principal Components（今天我们叫它自编码器 autoencoder）——取时间序列的窗口，通过编码器约化为三个变量，然后在这个隐空间（latent space）里学习动力学方程。隐空间来自数据挖掘。
• 花絮：写那篇 nonlinear PCA 论文的作者当年是 MIT 化工教授，"没拿到 tenure，当时被认为不够好，但他后来人生过得很好，别担心他。"

怎么学方程？ 用今天叫做 neural ODE / 残差网络（ResNet） 的东西。核心洞察：Runge–Kutta 做的事——拿数据、算右端项、把结果加到初值上、再算右端项——本质就是残差、且是循环的。于是他们构造了一个循环 Runge–Kutta 残差网络，用时间延迟数据训练，就能在隐空间里学到底层方程的右端项。主旨不是"我们发明了残差网络"，而是 Runge 和 Kutta 当年用泰勒级数隐含地做出了残差、循环结构。

Something Old（二）："眯眼看架构 = 数值分析"

• ResNet = 前向欧拉：2015 年 Microsoft 的那篇（Kaiming He，如今在 MIT）。讲者问观众它现在有多少引用——约 350,000 次。"是问题火，不是方法火"——它之所以被在意，是因为解决了图像处理里的梯度消失。
• 学到微分方程后，就能做分岔图、吸引子、长期动力学。提醒真正关心动力学的人：离散时间问题的分岔在定性上是错的、与连续时间系统不同；所以如果你去学"time-one map（单位时间映射）"，预测会很不准，且分岔会错。
• 有限差分 = 卷积网络：一篇 1998 年 IEEE 论文，学的不是 PDE 的解算子，而是 PDE 的右端算子。对抛物型 PDE（反应扩散型），时间导数是场、空间导数与参数的函数；用有限差分网格取 5 个格点估计导数，学时间导数；再把网格平移一格，用整个空间的数据来学右端项。要点：有限差分只看物理空间上邻近点的影响，正是卷积网络在做的事。
• 催化实验（1992/1993）：铂(110)上的一氧化碳氧化，图案尺度约 500 微米，黑=氧、白=CO，反应推进时形成图案与动力学。做这项实验的 Gerhard Ertl 组，Ertl 于 2007 年获诺贝尔化学奖（不是因为这项）。方法：从实验录像出发，用 PCA 找经验基函数，再用神经网络 + 延迟历史学一个神经算子（给定初始条件→稍后的解）；得到长期吸引子（顶为实验，底为神经网络预测）。

超越 PCA/自编码器：流形上的隐空间

2000 年是"很好的一年"：Science 上背靠背发表了 Isomap 与 Local Linear Embedding。讲者与耶鲁的 Ronald Coifman 合作用扩散映射（diffusion maps）：若数据分布在弯曲流形上，可构造一个特征值问题，流形上图拉普拉斯（graph Laplacian）的特征函数就是构造隐空间、学习动力学的好变量。

Something New（一）：反过来"学算法"

回到 Runge–Kutta 残差网络那张图：黑色=你已知的，红色=你未知的。

• 旧做法：有数据 + 积分器 → 学方程（红色部分）。
• 新做法（对应他在 DARPA 的项目 DIAL，Discovery of Algorithms）：如果你知道方程、有数据、但不知道连接结构（架构），就用元学习 / 优化去找"能对这些数据积分该方程的算法/架构"。用的是混合整数非线性优化（不是强化学习），即"用优化去找最优算法"。

Something Borrowed（一）：Krylov 方法 vs 上下文学习

Krylov 方法解 Ax=b：把 A 看作算子、b 看作"问题"、x 看作"答案"。不做高斯消元，而是用算子作用于问题（A·b）得到第一个 Krylov 向量，再作用得到第二个……构造一个足够小、能在其中求解的子空间。这些"算子作用于问题"的操作，实际是在辨识算子的特征空间里问题所占的那一部分。

借来的猜想：把 AI agent 看作作用在"问题"上的算子——得到第一个上下文向量/上下文答案，把它与原问题拼接，再作用一次，如此反复。讲者猜想（并希望为真）：上下文学习（in-context learning）可能正是在问题的邻域里构造一个局部子空间，告诉你 agent 在这个问题附近"知道什么"。 已有人把 AI agent 看作算子、去辨识相关的子域，尤其在能访问算子的隐空间时。

延伸：他在 DARPA 的最新项目 MathBUC（Mathematics for Boosting Agentic Communication），试图让一个 agent 建立对另一个 agent 的"心智理论（theory of mind）"。类比：DARPA 50 年前做了 TCP/IP，十年后用于 ARPANET 连接计算机；当年传输的是香农信息 / 句法信息，现在正走到语义信息与语义信息协议变得重要的阶段。

Something New（二）：涌现空间——把动力学"摆正"

• SARS 传播的例子（他"希望自己写过"的论文）：底部是 2003 年第一次 SARS 的演化序列（间隔 41、51、61、72 天）。十年后两位德国研究者买下了当时全世界所有国际航班的记录，用航班把地球"揉皱（scrunch）"：让彼此通航量相等的城市在新空间里等距，而不是地理测地距离等距。在这个"揉皱后的地球"上，疫情演化看起来是一个漂亮的圆环。
• 大启示：过去我们写模型时，变量要有大家公认的名字、算子要有学过的符号；今天机器学习允许我们考虑同一模型所有可能的微分同胚 / 等价表示——变量没有好名字、算子没有好符号都无所谓，因为神经网络/AI 工具能在"我们有词的东西"和"我们没有词的东西"之间翻译。这是可解释性的一部分。 于是可以问：在哪个空间里这个问题看起来漂亮地呈圆环？在哪个空间里可积？在哪个空间里线性（对应 Koopman 模型）？
• "Over the Rainbow" 玩笑（《绿野仙踪》Dorothy）：他想要的是涌现空间（emergent spaces）——不只是对因变量的隐空间，还包括对自变量的涌现空间，让问题看起来更漂亮。
• Dora Maar 的类比：毕加索笔下的 Dora Maar 与 Man Ray 拍摄的 Dora Maar 是同一个人。只要有自编码器 / 变换（注意是"transform"而非带注意力的"transformer"），我们就可以用自己更舒服的表示去工作。
• DARPA Shredder Challenge（15 年前）：把 5 份文件切碎、碎片放上网，谁能拼回来奖 5 万美元。类比：文件=我们能研究的"好空间"，碎片=同样的信息但在杂乱空间里。举例——复 Ginzburg–Landau PDE 的时空图案（横轴 x、纵轴时间），切成 512 条再打乱就看不懂了；但以"光滑性"为拼接准则，就能拼回同一个空间（要小心：相差一个翻转 flip）。
• 我们是"漂亮"的仲裁者：漂亮可以是线性；也可以像对数——对数是个"丑"操作，但它把乘法变成了加法。我们可以为感兴趣的问题定制"专属对数"。
• 耦合振子的例子：一堆耦合振子运行起来会沿一条漂亮曲线组织自己。与其把它们当 800 个点，不如用沿曲线的弧长作为空间。每个振子单看像"一团意大利面"，但以光滑性为美的标准重新编号后就变成了一个"场"；于是不用做 200 个振子，而是对场做 5 个有限元即可。
• 真实例子——pre-Bötzinger complex（脑中生成昼夜节律/生物钟的区域，几千个神经元）：底部是 12 个同步的神经元，它们都是异质的（不同动力学、不同连接），看上去是一团糊。但若构造一个贴合其行为的涌现空间，这团杂乱网络就像"随风飘动的旗子（a flag flapping in the wind）"——网络成为一个漂亮区域的离散化，就能为该区域学一个 PDE。1024 个耦合在 Chung–Lu 网络里的神经元有三种看法：网上能下载的网络动力学图、逐个神经元排开的动力学、以及这面"随风起伏的旗"——最后一种所需的自由度远少于前两种。

Something Borrowed（二）：用观测噪声的协方差来融合信息

一篇"很美、希望是我想到的"论文，主题是从不同侧面看事物：

• 横轴设为"真值空间（good/ground-truth）"，事件之间有距离，可据此建立几何。你（观察者）的观测函数不是完美对角，所以你看到的略有畸变。
• 关键：不仅测事件本身，还测事件邻域里的噪声（小抖动）。真值空间里的完美圆，在你的观测世界里会变成一个小椭圆；这个椭圆的畸变告诉你"你这副眼镜的局部斜率"。用这个局部斜率去重新标定你观测到的距离，就能把它映射回真值空间。
• 结论：只要测量观测噪声的协方差，就能把它纳入数据挖掘，从而很容易地融合来自不同观测的信息——把数据映射到一个"柏拉图式原型空间"，让噪声看起来是漂亮的高斯；即使同一数据经过很不同的形变（如"蘑菇状"非线性形变），也能很容易配准/融合。

这就是标题里"Some Things That Do Not Matter"：他们做了一个叫 local conformal autoencoder（局部共形自编码器） 的东西。两台仪器观测同一现象——状态的某些组合与现象有关，某些组合只与仪器自身电子学等无关紧要的东西有关。该自编码器找出：两个观察者共有的、重要的状态组合，以及各自独有的、局部共形、无关紧要的部分。

结尾：Matisse 的"剪刀作画"

讲者以 Jhumpa Lahiri（普利策奖得主）的书 In Altre Parole / In Other Words 收尾（她先用意大利语写、再由他人译成英语，全书讲习语翻译之难）。让他"震动"的是其后记：讲 Matisse 晚年发展的新技法——把上了各色颜料的纸剪成碎片、拼贴成图像，放下针、拿起剪刀。Matisse 称之为"用剪刀作画（painting with scissors）"，说"这段旅程的条件是 100% 不同的"，并把它比作飞翔。讲者的类比：这正如从解析建模转向数据驱动建模的转折点——"这大概就是我们此刻在复杂系统数学建模里所处的位置。"

关键结论 / Takeaways

• 成功的 ML 架构常常就是熟悉的数值分析算法：ResNet=前向欧拉、有限差分=卷积网络、Runge–Kutta=循环残差网络。
• 建模的两个方向：旧（数据 + 积分器 → 学方程）与新（数据 + 方程 → 学算法/架构，用混合整数非线性优化）。
• 涌现空间是核心工具：用数据挖掘（自编码器 / 扩散映射 / 微分同胚）为复杂系统找到让动力学呈现线性、可积、圆环、或"随风飘旗"的坐标，从而写出更简洁的有效模型；"我们是漂亮的仲裁者"。
• 测量观测噪声的协方差可用于跨不同观测的信息融合与配准（local conformal autoencoder 分离"重要"与"无关紧要"的自由度）。
• 一条"借来的"猜想：上下文学习 ≈ Krylov 子空间构造——在问题邻域内识别 agent 所知的局部子空间。

Q&A / 讨论亮点

• Q（Speaker 9）： 你把 in-context learning 与 Krylov 子空间做了类比；Krylov 空间的收敛性我们有数学刻画，那么对于这个"特征模型（eigen model）"，你相信存在某个函数空间以及相应的收敛性吗？ A： 我已经说了，我希望有，正在做。我至少能告诉你有一篇论文用这种形式去研究上下文学习的稳定性。这是我说的"借来的"部分、还在漂浮的想法。此外确实有很多工作在讨论：agentic 平台里的 agent 需要有心智理论、需要对另一个 agent 做一点辨识，才能让通信有意义——至于最终是不是用"类 Krylov"的方式来做，那是另一回事。（因超时，仅取一个问题。）

名词 / 引用

• complex / complicated / simple systems：引 Julio Ottino（Northwestern）的分类；台球其实是分子构成的"复杂系统"。
• Nonlinear Principal Components (1991) = 自编码器；Runge–Kutta 残差网络 = neural ODE；ResNet (2015, Kaiming He) = 前向欧拉，约 35 万引用；有限差分 = 卷积网络。
• Isomap / Local Linear Embedding (Science, 2000) / Diffusion Maps（与 Ronald Coifman 合作）/ graph Laplacian：流形上的隐空间。
• DIAL（DARPA，Discovery of Algorithms）：用混合整数非线性优化"学算法"。
• Krylov 方法 / 上下文学习类比 / MathBUC（DARPA，Mathematics for Boosting Agentic Communication）/ theory of mind / 语义信息协议。
• SARS "揉皱地球"航班网络 → 圆环演化；Koopman 模型（线性化的空间）。
• Ginzburg–Landau PDE / DARPA Shredder Challenge：以光滑性重构涌现空间。
• pre-Bötzinger complex / Chung–Lu 网络 / "随风飘动的旗"：把杂乱神经网络约化为区域上的 PDE。
• local conformal autoencoder：分离"重要"与"无关紧要（仪器电子学）"的状态组合。
• Gerhard Ertl（2007 诺贝尔化学奖）：CO 在 Pt(110) 上氧化的图案实验来源。
• Jhumpa Lahiri《In Altre Parole / In Other Words》/ Matisse "用剪刀作画"：类比解析建模→数据驱动建模的转折。

原文发表：2026-07-11  ·  纪要生成：2026-07-13