来源： Latent Space | Akshat Bubna | Jul 08, 2026 播客： Latent Space 分类： 其他 原文发表： Jul 08, 2026 纪要生成： 2026-07-10
Akshat Bubna 是 Modal 的联合创始人兼 CTO。Modal 近期完成了高达 3.55 亿美元的 C 轮融资，定位为面向 AI 应用的原生云平台。本集 Akshat 与 swyx 及 Vibhu 深入探讨：为什么 Kubernetes 无法承载突发、计算密集的 AI 工作负载；Modal 如何从无服务器函数演进为覆盖推理、训练、沙箱和多节点集群的 “AI 超云”；以及为何基础设施的重心正从 “developer experience” 转向 “agent experience”，包括沙箱、硬护栏、可观察性和多语言 SDK。
本节重点
详细精要
💬 精华片段（中文）
“我们做了很多艺术装置，看到我们的产品像罗丹的雕塑一样立在基座上，非常有趣。”
"We had a bunch of art installations, which was fun, seeing, like, our products on pedestals next to, like, Rodin."
本节重点
详细精要
参考两年前 Erik 做客本播客时所分享的 Spotify 与 Data Council 背景，Modal 当时展示的无服务器容器栈让 swyx 第一次感觉应严肃看待这家公司
无服务器函数作为基础原语：最初的产品设想非常广泛
💬 精华片段（中文）
“我们一开始思考的是，如果我们构建一个更好的运行时，它本身就是一个非常有用的原语。”
"Initially what we were thinking about was if we build a better runtime, it's a very useful primitive in itself."
本节重点
详细精要
用户反馈显示，对各客户而言，代理在 Modal 上的操作速度远超在其他基底上
代码不可见时，可观察性成关键入口：当人不再频繁查看代码时
Modal 的大量工作被推向 CLI，让代理可以自行调查，但最终仍需要人类通过仪表盘去解读情况并做出判断，这种判断可能比直接看代码更重要
将基础设施与代码并列的意义犹在：代理仍需清晰的上下文
💬 精华片段（中文）
“我们已将 SDK 团队重新定位于思考代理体验，而非开发者体验。我们相信使 DX 受益的那些东西，同样也会使 AX 受益。”
"We've changed our SDK team to think about agent experience instead of developer experience and we think that the same benefits that apply for DX also apply for AX."
本节重点
详细精要
这些工作负载的共同特征是：需要专用计算、快速伸缩（scale up/down），负载形态与传统 Web 服务器完全不同
刻意避开传统 Web 服务领域：定位差异明显
专用计算和频繁伸缩的特性，使得 Modal 的原语设计具有高度针对性
与前沿初创公司共同进化：工作负载定义的来源
💬 精华片段（中文）
“我们正在构建大量的新能力，但核心仍然是：这是一个面向 AI 应用的云平台，其原语是从头开始构建的。”
"Modal is a cloud platform that's built for, where we've built the primitives from scratch for AI applications. And right now it covers, inference, training, batch processing, and sandbox workloads."
本节重点
详细精要
swyx 将当时的 smol developer 视为一种“原始认知”（proto-Cognition），并遗憾自己未能坚持
沙箱 API 的诞生与“循环”原型：Modal 在 2023 年 5 月推出沙箱
这一设计体现了“loops are hot”的精髓，但受制于当时基础模型在长对话中容易发散、工具调佣不稳定的缺陷，经过十次迭代后就无法产出有意义的成果
关于 RL 和数据集的后见之明：如果 swyx 当时收集所有失败案例并构建 RL 环境，或许能像 Meta 那样卖出数十亿美元——这段戏谑背后点出，当时的硬件和模型能力限制了对 agent 形态的全面想象
💬 精华片段（中文）
“我们在 2023 年 5 月就构建了沙箱，在所有人都不知道这会成为热点之前。我们发布的第一个例子，就是把 smol developer 放进一个循环，让代理可以自我迭代。”
"We built sandboxes in May of twenty-three before anyone was even knew this was gonna be a thing. And the first example we published was, we took smol developer and put it in a loop, so the agent can iterate on itself."
本节重点
详细精要
客户不仅部署一个模型，而是在不同区域部署多种模型，这使得跨区域的滚动伸缩问题变得极其复杂；Modal 的自动伸缩专长即在此
GPU 快照解决冷启动瓶颈：实现快速伸缩的关键技术
torch.compile 后的模型状态包括 GPU 内存完整快照，下一次冷启动时直接恢复，大大缩短启动时间这让推理的突发性得以真正落地，也为后续沙箱的场景提供了基础
RL rollouts 需要海量沙箱：训练场景的突发量级远高于推理
💬 精华片段（中文）
“当你在做 rollout 时，有时需要十万个沙箱。RL 的突发性简直疯狂。”
"Yeah. Like when you're doing, rollouts, you sometimes need a hundred thousand sandboxes in your sandboxes."
本节重点
详细精要
他特别强调，仅仅优化单个内核（kernel）通常只会带来几个百分点的提升，而提高接受长度带来的提升是乘法级的，可达 2 到 4 倍，且没有质量损失（因为最终接受标准完全由大模型决定）
DeFlash 的块级预测与开源策略：Modal 的核心贡献
下一步，Modal 将协助客户训练针对个性化模型的自定义投机解码器，这传统上需要大量前向部署工程师（forward-deployed engineering）的手动支持
Auto Endpoints 与流量影子学习：降低前沿性能的使用门槛
💬 精华片段（中文）
“人们大谈内核优化，但这对性能的改进只是几个百分点；而提高投机解码的接受长度则可以带来成倍的加速，并且质量完全相同。”
"People talk a lot about we made these kernels faster, but improving kernel will only give you like few percentage points of improvement, and increasing accept length, literally is a multiplicative decrease."
本节重点
详细精要
Modal 团队的专长在于，如果某个推理优化尚未被开源社区覆盖，他们能够率先帮助客户拿到这份性能
弹性扩展和缩零才是真正的增值：超越单纯的 GPU 租赁
在实践中，这种伸缩能力比“找到一块 GPU 然后运行代码”要有价值得多，尤其对于流量不可预测的自定义模型
生产推理的隐性工程难题：远不止部署模型
💬 精华片段（中文）
“即使减去了自动扩展的部分，生产级推理依然是一个极其困难的难题：你需要控制尾延迟，还要确保每一条请求都至少被处理一次。”
"Even if you subtract out the autoscaling, controlling things like tail latency and, making sure every, request is delivered at least once and whatnot."
本节重点
详细精要
这一路线图源于紧密“跟随用户”的理念，以保证平台提供完整且一致的体验
Ramp Inspect 作为范例：快照与快速伸缩带来的反应式体验
这展示了将基础设施原语组合后对终端产品体验的实质性提升
代理生命周期的构建原则：向更深层的需求延伸
💬 精华片段（中文）
“所以我们目前聚焦的是模型生命周期和代理生命周期：从数据预处理到训练再到推理，以及想要部署一个后台代理、沙箱、持久化存储等一系列其他能力。”
"We're focused on the model lifecycle and the agent lifecycle: going from data prep to training to inference, and then also if I want to deploy a background agent, let's say, sandbox, do persistent storage, a whole bunch of other stuff."
本节重点
详细精要
Akshat 透露，目前市场上已有大量建设数据中心的厂商，因此他们可以与之有效合作而不必重资产投入
自建可靠性层屏蔽碎片化风险：让用户不必处理“GPU 掉线”
这释放了大量普通用户无法直接使用的碎片化容量
精确到区域的协同部署：满足数据驻留和延迟要求
💬 精华片段（中文）
“我们的差异化在于软件层。保持资本轻量化，专注于软件让我们能够极快地行动。”
"We see our differentiator in the software layer, and, being capital light and focusing on the software helps us move really fast."
本节重点
详细精要
用户对沙箱出站网络的控制需求越来越多，例如需要中间代理来记录 RL 日志、控制域名级别的出口、注入凭证等，Modal 为此定制了丰富的网络栈
I6PN：私有 IPv6 叠加网络：无加密但受控的内网
与 VPN 的关键区别在于该网络不加密，而是通过内核的 eBPF 程序来拒绝或允许 TCP 连接；这个原本为分布式训练而生的原语，正意外地被用户用于其他场景
RDMA 与无服务器多节点训练：在 Modal 上为临时集群提供高速通道
💬 精华片段（中文）
“我们有这个叫做 I6PN 的私有 IPv6 叠加网络，同一个工作空间内的容器可以互相寻址，并且其他人无法访问。我们用它作为分布式训练的原语，但人们找到了我们的文档之外的用法。”
"We have this thing called I6PN... overlay network using IPv6 addresses. So if Modal containers within the same workspace, when this is enabled, can address each other using this private IPv6 address, and no one else can."
本节重点
详细精要
对于那些拥有大型集群的实验室，其研究员们仍有大量小规模实验运行，因此研究员层面的弹性伸缩比单纯的总算力更为重要
自动研究的前沿实践：代理接管基础设施调优
这一过程本质上是模型直觉引导的超参数搜参，比传统网格搜索高效得多；Akshat 将此比作 “这是当前自动研究的现状，主要在调参层面，尚未涉及模型架构”
Modal Bench 与代理技能：以代理反馈完善产品
💬 精华片段（中文）
“我们在内部有一个叫 auto inference 的仓库，代理可以自己启动一个 GPU 扫参，甚至运行 NVIDIA 内置分析器，调整配置，然后得出最优方案。”
"We have this one internal repo called auto inference, which essentially we've automated our own forward-deployed engineering efforts using this harness, which is, the agent will just spin up a sweep of different things. It'll even run like, NVIDIA inside profiler and it'll like tweak configs and it'll arrive the right thing."
本节重点
详细精要
他们还必须对供应链的演进形成自己的判断，并基于此下“赌注”
批量层的经济学与定位：将闲置容量转化为新价值
Akshat 提到，这类需求的来源并不仅限于 LLM 评估或合成数据准备；大量来自计算生物学等非 LLM 领域的客户，需要运行非常庞大的批处理作业且不在乎即时结果
航空公司式类比：首次出现此问题的行业
💬 精华片段（中文）
“我们有一支非常强大的计算战略团队，负责回答很多有趣的财务和技术问题，比如一年期和三年期预留的混合配比，以及如何对跨 GPU 类型、跨区域的容量进行建模和打赌。”
"We have a really competent team of people that we call, The role is called compute strategy... It's not FP&A. It's a lot of interesting financial questions of like what is the blend between one year and three-year reservations? how do we forecast our own capacity?"
本节重点
详细精要
这一形态与之前定制模型的模式一脉相承，但通过 Auto Endpoints 降低了采纳门槛
实时音视频的区域性需求：延迟的极致考验
Modal 还观察到大量实时音频与视频用例，这促使他们开发区域路由和故障转移机制，以确保 GPU 尽可能靠近终端用户，从而满足视频流等的超低延迟要求
生产代理栈的暗面：仍在快速迭代
本节重点
详细精要
他同意可以将硬护栏与软性 LLM 媒介权限相结合，但绝不能仅依赖后者
从托管代理到专用沙箱的跃迁：与基础模型厂商的合作关系
Modal 对编排层本身没有强烈偏好，无论是使用云厂商的托管代理还是自建编排层，都可以挂载 Modal 沙箱
元编排（Meta-harness）的看法：暂未深度体验
💬 精华片段（中文）
“我对 LLM 做沙箱级别的权限媒介持怀疑态度，因为你始终需要硬性边界。否则，有人就可能把数据偷出去。”
"I'm skeptical of LLM media permission for stuff that is at the sandbox level because you do want hard boundaries. Otherwise, someone can exfiltrate stuff."
本节重点
详细精要
Akshat 认为，这种转变根源于 AI 工作负载对规模和加速器的极致渴求，这本身就将系统问题推到了风口浪尖
事后诸葛亮式的产品逻辑：最好的产品让人事后觉得理所当然
💬 精华片段（中文）
“基础设施曾经沉寂了一段时间，你没法让大家对数据基础设施感到兴奋。但现在，AI 让一切都改变了。是规模的要求带来了这一切。”
"Infra was boring for a while, and you couldn't really get people excited about data infrastructure. And now everyone gives a crap. I think a lot of that's driven by just the amount of scale all of this stuff needs."
本节重点
详细精要
Modal 一直选择为那些构建真正产品的公司服务，它们需要的不仅仅是 API，而是能在代码层面进行灵活定制的能力
从 API 调用到差异化代码产品的分界线：Suno 的案例
这表明，当公司的需求越过“调用 API”进入“修改模型行为、管道和系统架构”时，Modal 的平台就显现出独特价值
“代理编排视频模型”的新前沿：对视频生成范式的预测
💬 精华片段（中文）
“我们一直远离提供模型 API 这件事，因为我觉得那最终会服务于一个粘性较低的爱好者市场。我们始终希望为那些构建产品并需要超越 API 的灵活性的公司服务。”
"This is one thing we've stayed away from is providing an API for models because I think providing model APIs is some of it ends up serving like a really hobbyist market, which is much less sticky."
本节重点
详细精要
Gitpod 的故事也揭示了一个产品教训：他们可能没有在对的时间进入对的市场；而 运行时沙箱的配置表面（镜像、存储挂载）比构建时沙箱更符合代理需求
Python 与 TypeScript 双 SDK 战略：语言无关但顺势而为
其运行时是用 Rust 编写，天然语言无关；有趣的是，随着代理用例的崛起，TypeScript SDK 的使用率显著上升，因为许多代理不涉及传统的 ML 训练
AX 驱动的产品反馈循环：把代理的幻觉变成功能
💬 精华片段（中文）
“如果代理总是试图调用某个还不存在的东西，那这就是产品反馈——我们应该直接把它做出来。”
"If they're reaching for this thing, it's product feedback. Like, give it to them."
本节重点
详细精要
💬 精华片段（中文）
“这很大程度上是我们身份的一部分：不仅是代理人如何使用 CLI，更在于当你想要启动一个新服务并快速投入生产时，你的迭代时间能有多短。”
"It's a big part of our identity. it's not just, like the very tactical, how does an agent use the CLI, but it's also how easy is it to spin something up? Like, what is your iteration time when you wanna spin up a new service and you wanna get something going in prod?"
| 术语 | 解释 |
|---|---|
| Kubernetes | 容器编排平台，Modal 认为其慢速伸缩和以 Web 服务为中心的假设不适合突发 AI 工作负载 |
| 机器学习 | 通过数据训练模型的领域，此处多指需要大量 GPU 的计算密集型任务 |
| 服务器端容器 | Modal 最初提供的无服务器容器运行时，用于运行 ETL、作业队列等突发性任务 |
| XGBoost | 一种梯度提升框架，用于经典机器学习推理 |
| ChatGPT | OpenAI 的对话模型，其发布使 LLM 推理需求爆发 |
| 装饰器（Decorator） | Python 语法，Modal 用它来在代码中声明基础设施需求（如 GPU 类型、伸缩策略） |
| 自供给（Self-provisioning） | Modal 提出的概念，指应用代码能自动声明并配置所需的基础设施，无需手动编写 YAML |
| 无服务器函数 | 无需管理服务器的计算模型，Modal 以此为起点构建了原语集合 |
| 开发者体验（DX） | Developer Experience，指开发人员的工具、文档、工作流的效率和愉悦程度 |
| 代理体验（AX） | Agent Experience，Modal 提出的新术语，指 AI 代理在代码编写、基础设施操作时的易用性和反馈闭环 |
| 可观察性 | 通过日志、指标、仪表盘等手段理解系统内部状态的能力，当代理编写代码时其重要性上升 |
| AI 应用 | 特指需要大量计算、频繁伸缩、使用加速器（如 GPU）的现代 AI 工作负载，而非传统 Web 服务 |
| 推理 | 运行已训练模型生成输出（如文本、音频）的过程，Modal 的弹性推理专为自定义模型的突发流量设计 |
| 训练 | 利用数据更新模型参数的过程，Modal 提供分布式 GPU 集群进行后训练和实验 |
| 批处理 | 大规模离线数据处理作业，Modal 提供突发计算和批量层以降低延迟不敏感作业的成本 |
| 沙箱 | 隔离的计算环境，供代理安全地执行代码、读写文件并进行迭代，Modal 的沙箱支持快照、网络控制等高级特性 |
| Suno | 一家 AI 音频公司，其完全自定义的模型架构完全在 Modal 上进行弹性推理 |
| Runway | 一家 AI 视频公司，类似地依赖 Modal 部署其定制模型 |
| GPU 快照（GPU Snapshotting） | Modal 的技术，可保存 GPU 内存状态（包括 torch.compile 后的模型），使冷启动时间从分钟级降至秒级 |
| RL（强化学习） | Reinforcement Learning，通过模拟环境交互训练智能体，其 rollout 阶段可能需要同时启动极大量沙箱 |
| 投机解码（Speculative Decoding） | 用小模型预测多个 token，大模型并行验证的推理加速技术，可倍速提升吞吐且无质量损失 |
| DeFlash | Modal 自研并开源的块级投机解码器，可一次预测一个 block 的 token |
| 接受长度（Accept Length） | 投机解码中大模型一次性接受的小模型 token 数量，该值越高加速效果越好 |
| Auto Endpoints | Modal 的自动端点功能，用户一键部署带有前沿性能优化的推理端点，并随时可弹出为全自定义代码 |
| SGLang | 一种高效的 LLM 推理引擎，Modal 与之合作并将优化贡献回上游 |
| 尾延迟 | 分布式系统中少数请求的处理延迟远高于平均值的现象，生产推理的关键挑战 |
| Ramp Inspect | Ramp 的一个后台代理产品，利用 Modal 的快照和快伸缩实现了极速反应 |
| I6PN | Modal 构建的私有 IPv6 叠加网络，允许同工作空间内的容器安全直接通信，使用 eBPF 实现访问控制 |
| eBPF | Linux 内核技术，Modal 用它以高性能方式控制 I6PN 中 TCP 连接的访问权限 |
| Sidecar | 一种将应用功能（如代理、日志、网络控制）与主容器并列部署的模式，Modal 沙箱现已支持多容器 Pod |
| RDMA | 远程直接内存访问，绕过 CPU 和 TCP 堆栈，可在节点间实现如 3 Tbps 的超高带宽，Modal 用于其无服务器多节点训练 |
| 后训练（Post-Training） | 在基础模型上进行的后续微调或对齐训练，通常规模小于预训练，是 Modal 多节点训练的主打场景 |
| 自动研究（Auto Research） | 让代理自动管理基础设施、启动实验、调整超参数的前沿实践 |
| NVIDIA 内置分析器 | NVIDIA 提供的 GPU 性能分析工具，已集成进 Modal 内部代理的自动调优流程 |
| Modal Bench | Modal 用于评测 LLM 使用 Modal 能力的基准，暴露短板并驱动产品改进 |
| 计算战略（Compute Strategy） | Modal 内部的职能角色，负责 GPU 容量预测、预留混合、供应链判断等关键决策 |
| 批量层（Batch Tier） | Modal 提供的低成本离线计算服务，适合不关心延迟的大规模作业，并附带 SLA |
| 硬性护栏（Hard Guardrails） | 在系统或网络层实施的严格访问控制，Modal 认为这是沙箱安全的基石，不能被 LLM 完全取代 |
| 元编排（Meta-harness） | 指在多个代理或工具之上的统一调度层，如 OpenPipe、Omnigen，Modal 暂未深度涉足且保持中立 |
| Ona | Gitpod 被 OpenAI 收购后的产品名称，其技术实力证明了 CI 领域的代理计算需求 |
| TypeScript SDK | Modal 为非 ML 类代理提供的开发工具包，在代理场景中增长迅速 |
| Rust | 系统编程语言，Modal 的核心运行时用其编写，保证高性能并于语言无关 |
代理体验是否将催生一个新云服务品类？ 当 “用户” 变成了代码和代理，产品表面从控制台转向 API 和 CLI，可能意味着平台评估标准将彻底从 “人的效率” 转向 “代理的迭代速度与安全性”。这会不会催生专门的 Agent-Native 云，甚至改变现有云巨头的商业逻辑？
投机解码与弹性推理的边际在哪里？ DeFlash 的“影子流量自进化草稿模型”若全面实现，用户可能不再需要关心推理优化，但这同时也可能让推理服务进一步商品化。对于 Modal 而言，它究竟是护城河的延伸，还是一种为更底层 GPU 租赁服务的增值绑架？
“硬性护栏” 和“ AI OS” 的理念矛盾：播客中 Akshat 坚持沙箱需要硬边界，而 swyx 推崇的 AI 作为内核的想法代表了一种颠覆性思维。随着模型能力增强，信任 LLM 做出系统调用是否将成为主流？这决定了代理基础架构是以“隔离”为核心还是以“智能”为核心。
多云超级云 vs. 自建数据中心：Modal 的 17 云策略在资本和速度上具有优势，但一旦训练和推理规模突破某一临界点，自建数据中心对延迟、成本和供应链的控制力可能反超。Modal 需要持续证明其“软件差异层”能够创造足够的价值来抵消裸金属成本。
视频/多模态代理 的爆发对基础设施的新要求：代理操纵 FFmpeg 和 Adobe 的设想，需要的不再是简单的文本 token 生成，而是大规模流式处理和跨模态工具链整合。这将是沙箱、GPU 快照、网络化环境的下一个试金石，谁能先让代理流畅地“导演”一分钟电影，谁就能掌握下一波创意工具的基础设施话语权。