来源: Lenny's Podcast | Dianne Penn | Jul 26, 2026 播客: Lenny's Podcast 分类: Anthropic 原文发表: Jul 26, 2026 纪要生成: 2026-07-29
Dianne Penn 是 Anthropic 公司 AI 研究与实验室团队的产品负责人。她在三年多前作为第一位技术产品经理(PM)加入 Anthropic,当时产品团队仅有五名工程师。她参与并推动了从 Claude 2 到 Fable (Mythos) 等多个模型的发布,并孵化了 Claude Code、MCP、Skills、Claude Design 等产品,以及计算机使用、工具使用、推理等核心能力。本集播客深入探讨了 Anthropic 从追赶者到领导者的关键转折点、AI 产品经理角色的演变、以及身处 AI 指数级发展浪潮中心的体悟。
本节重点
详细精要
整个氛围非常自下而上(bottoms up),工程师和设计师会主动投入时间去做他们相信的事情。
Golden Gate Claude 是发现身份认同的隐藏转折点:2024 年初,Anthropic 发布了早期可解释性(interpretability)研究成果,研究员能识别模型内部的“特征”(features),比如代表“项目符号写作”或“金门大桥”的主题。
团队在 24 小时内,联合研究、工程、产品、设计等多个部门,将这个体验搬上了官网。虽然可能只触达了大概 2000 人,但这让他们发现,自己能够以一种与众不同、原汁原味的方式展示研究并创造独特的用户体验,开始找到自己的身份认同。
训练和测试 Opus 3 是建立信心的里程碑:在公司还不到 200 人时,大家就清楚需要打造一个前沿模型来触达用户、展示研究实力,并回答“为什么用户应该选择 Claude”这个核心问题。
Dianne 回忆,当时正值 12 月假期,大家都在各自父母家中的孩童卧室背景板下通力协作,这段一起在“战壕”里摸爬滚打的经历,为后来各研究负责人之间建立了深厚的信任基础。
识别到“编程(Coding)”的重要性是早期破局点:2023 年时,几乎没人会把 Anthropic、Claude 和编程这几个词联系在一起。
她抓住这个机会,推动团队在训练 Opus 3 时针对性地加强编程能力,这个从训练角度来看改动相对较小,却为 Claude 吸引了第一批狂热的开发者,实现了竞争差异化。
Opus 4.5 的魔法在于模型与产品的完美结合:Opus 4.5 的发布是另一个重大时刻,其影响力远远超越了模型本身。
💬 精华片段(中文)
"Opus 4.5 的魔法在于,我们不仅有了一个模型,还有了一个载体,一个像 Claude Code 这样优秀的产品体验。Opus 4.5 若没有 Claude Code 这样的产品,就不会有那样的高光时刻;而 Claude Code 若没有 Opus 4.5,也不会获得如此快速的采用。"
"What was magical about Opus 4.5 is we also now not just had a model but a vehicle a great product experience like cloud code. Opus 4.5 wouldn't have had that moment without a product like cloud code and cloud code wouldn't have had that type of adoption accelerated without opus 4.5."
本节重点
详细精要
当面对新信息时,如何及时做出更好的决策,远比固守原有计划更重要。
第一性原理思维(First Principles Thinking)至关重要:在快速变化中,需要回归本质去思考“然后呢?(So what?)”,如何据此投资新产品、向用户解释新技术带来的差异。
这种变化会形成一个非常正向的自我强化闭环(self-reinforcing loop)。
模型的某些能力呈“不连续跳跃”式出现:在经典的缩放定律(scaling laws)论文中,除了“损失(loss)”随计算量和数据增加的平滑下降曲线,还有其他反映模型能力变化的图表。
这种“涌现能力(emerging capabilities)”的特征增加了安全性(safety)工作的难度,因为除非你设置了正确的评估(Evals)和测试系统,否则这些能力的飞跃可能会在你未察觉的情况下发生。因此,工作的重要一环就是不断发掘“哇,我们模型突然在这件事上变得很厉害了,能用它做什么?”。
当前模型存在巨大的“产品悬置(product overhang)”:Dianne 用一个产品经理的行话来描述,即便是今天的模型(如 Opus 系列甚至 Fable (Mythos)),其能力也远超目前产品化所利用的部分。
💬 精华片段(中文)
"一个理念是,除非你有能评估它的‘评估集’,否则这些能力的飞跃可能会在你未知的情况下发生。"
"Unless you have the eval unless you have the systems to test, these jumps might actually happen and you don't know."
本节重点
详细精要
在技术迭代如此之快的情况下,不亲手触碰技术,几乎不可能制定出完美的策略。你必须亲自使用模型,才能从一个好想法,发展到一个更好的,再到一个绝妙的点子,这个过程无可替代。
“公开工作(Working in Public)”能放大实验价值:在 Anthropic 早期,产品界面还不多,几乎所有公司成员都会在一个 Slack 频道里测试 Claude 的早期版本。
这揭示了,实验并非个体运动,社区化的集体发现蕴含着巨大能量。与其每个人闷头自己摸索,不如将探索过程公开,共同激发创新。
需要引导用户去发现模型能解决的具体痛点:大家都知道 AI 能写长文、写优秀的文章,但具体到能解决哪个用户的哪种具体痛点,并将其产品化到人人可用的程度,这需要大量的探索和实验。
💬 精华片段(中文)
"你必须亲手使用这些模型,才能陆续产生好的、更好的、绝妙的点子,而这无可取代。"
"You have to be using the models to then come up with good then great than better ideas and there's no substitute for that."
本节重点
详细精要
他们今年的一个方法论是:对主题和领域抱有坚定信念,但对具体要打造的原型保持灵活、松散的态度。
实验室的成功依赖于文化和人才选择:Labs 的团队文化(类似 Anthropic 大文化)以及负责人 Ben Mann 设定的宏大愿景至关重要。Ben 会不断推动人们去思考一个点子的 10 倍、100 倍可能性。
他们非常看重并专门选择那些渴望进行零到一(0 to 1)实验的人才。这非常难,因为大多数赌注最终会被叫停或被搁置,需要投入全部心血却要接受失败的可能。
“未发布”本身也是一种学习:很多原型或实验的价值在于帮助团队“看到更远的拐角”,即使它们没有立即转化为发布的产品。如果一个想法因为模型能力不足而暂时无法实现,团队会在隔一到两代模型后再次尝试。
💬 精华片段(中文)
"这些原型即使没有最终发布,其价值也在于帮助我们学习,能看到公司更远的拐角。"
"These prototypes that actually end up just helping us learn like that's also valuable even if it doesn't lead to something immediately shipping."
本节重点
详细精要
他们的思考游走于中长期未来愿景和当下的短期改进之间。而与之配合的产品团队,就需要深度嵌入到这个循环中,尤其是在视觉、计算机使用、编程、工具使用、测试时计算(test-time compute)等对用户有直接影响的领域。
PM 工作的核心挑战是让用户反馈变得“可操作”:如果 PM 告诉研究员“Claude 产生了幻觉”,这是完全无法操作的信息。
第一种情况是工具使用的失败,第二种是搜索与知识合成的失败,也可能与对齐(alignment)问题相关。将这种颗粒度的细节、评估问题规模的大小,并开发出能衡量改进效果的评估(Evals),这才是研究员日常工作中能理解和处理的语言。
“评估集(Evals)是新的 PRD”:这是 Dianne 团队的一句口号,它标志着产品经理工作方式的根本转变。
她收集了 30-40 个失败案例,构建成一个评估集。这个评估集包含了提示词和期望得到的“黄金答案”。通过在新模型版本上自动化运行这个评估集,可以量化改进效果。如今,这个问题已基本被 100% 解决。这就像将测试驱动开发(TDD)的理念引入到了 PM 的日常工作中。
第一性原理思维体现在工作方式的转变上:真正具有第一性原理思维的 PM,不是去复用过去几十年写 PRD 的经验,而是思考“在当前情境下,为了实现用户价值,我应该做什么?”。当答案是“创建评估集”时,他们就毫不犹豫地去做这件全新的事。
💬 精华片段(中文)
"我们团队有句名言:‘评估(Evals)就是新的 PRD’。因为要交付用户价值,关键交付物不再是过去一二十年大家所写的那种文档,而是一种全新的工作方式。"
"We actually have a saying on the team of evals are the new PRDs... in order to deliver that user value, it's not that exact artifact that people used to write in the last like one to two decades, it's a new way of working."
本节重点
详细精要
“你得像重视像素一样重视令牌。”以前的产品经理通过用户访谈和走查用户流程(像素)来发现问题,而现在必须去深度阅读和分析 Claude 与用户的对话记录(令牌),从中判断失败的准确主题——是幻觉,还是过度自信?然后将这个有细微差别的深刻理解,转化为一个可分布、能捕捉正反两方面情况的评估集。
管理岗也必须保持“高亲自动手性(Extremely Hands-On)”:Dianne 强烈认为,要想在这个技术领域成为好的管理者,必须亲自花大量时间使用技术去构建和发布产品,而不能仅仅是浅尝辄止。她自己一直尽力抽出时间,亲自负责一到两个与模型发布相关的工作流。
如果一个人没有亲身构建过 AI 产品,就很难真正判断什么才是“好的”或“伟大的”AI 产品体验。你自己必须走过你的团队正在走的路。
成功与快乐正相关:那些做得最成功的人,无论在公司的职位高低,都是那些由衷喜欢与 AI 一起工作、并不断探索和实验的人。他们会主动挤出时间,不是为了应付差事,而是为了亲自动手完成端到端的构建并获得用户反馈。
💬 精华片段(中文)
"你必须像重视像素一样重视令牌。"
"You have to sweat the tokens as much as you sweat the pixels."
本节重点
详细精要
将 AI 定位为“思考伙伴(thinking partner)”,而非单纯的执行者。一个合格的思考伙伴,不会只会赞同你,而是能提出挑战、补充视角,让你在合作结束时产生更好的想法。
找到乐趣的秘诀在于“协作式实验”:对于那些感到与 AI 工作很烦人、找不到乐趣的人,Dianne 的核心建议是:实验不是一个人的运动。
在 Anthropic 内部,经常是一个充满好奇心的人分享一个新的原型想法,然后会带动一大批人,因为他们突然意识到“哇,原来 Claude 还能这么用”,从而形成一个良性循环。
深度比广度更能带来幸福感:面对 AI 领域层出不穷的产品和原型,Dianne 的策略是限制数量,在一到两个方向上深耕。这与 Lenny 做的调查结果一致——那些真正感到快乐的人,是找到一两个能用 AI 真正改善生活的问题,然后深入解决它,而不是泛泛地把玩很多半成品。
Claude 的“不服从”是其“有用”的核心:Claude 的个性更有趣、更聪明,恰恰是因为其对齐(Alignment)和安全(Safety)研究要求它学会在适当时机提出异议。
💬 精华片段(中文)
"一个思考伙伴不会只会赞同你。它应该对你有所补充,让你在一天结束的时候,因为与 Claude 的合作而有了更好的想法。这应该是我们的英雄目标。"
"A thinking partner doesn't just agree with you. It should add to you and you should come away at the end of the day having better ideas because you worked with Claude. That should be the hero goal."
本节重点
详细精要
在软件工程等领域,AI 的变革已经很深入,但像生物学、生命科学等领域,我们还只是站在指数级曲线的山脚下,人类的领域专业知识(subject matter expertise)依然不可或缺。
育儿的核心是培养“内在之声”和好奇心:作为一名母亲,Dianne 认为,对孩子未来的培养,和人们成功应对当下所需的特质高度一致。
有一个育儿观点是,让孩子使用较早期的笨拙 AI 模型,这样他们仍需挣扎和学习,而不是直接得到所有答案。这背后共同的理念是,要保护好自己的思考过程。
AI 写作的“锯齿状前沿”:人们普遍觉得 AI 写作水平不够好,带有明显的“AI 味”。Dianne 解释说,这是因为技术的发展是“锯齿状的”。
💬 精华片段(中文)
"这其实回归到如何保护你的思考。如果你有一个人工智能作为思考伙伴,那它就不应该只是赞同你。它应该让你变得更好。"
"It comes back to how do you protect your thinking. If you have an AI that can be a thinking partner, a thinking partner doesn't just agree with you. It should add to you."
本节重点
详细精要
在招聘时,她会寻找那些低自我(low ego)、以团队和对公司的贡献为导向,而非关注个人地位和建立庞大组织的人。
从债券交易员生涯学到的宝贵一课:在香港摩根大通做高收益债券交易员的四年,对 Dianne 影响深远。在作为团队里唯一女性和少数族裔的环境中,她学会了最重要的两件事:
第二,即使是最初级的员工,即使看起来和别人不一样,最终大家都只会尊重最好的想法。所以,要敢于提出想法,并拥有坚持其实现的信念(conviction)和跟进到底的毅力。她现在也极力在团队中营造这种不论资排辈、好想法优先的文化。
人生格言与产品哲学:Dianne 的祖父在她小时候告诉她:“无论你走得多远,总有更高的层次。”这句话激励她不断在面对新挑战、新突破时保持前进的动力。她同时推荐了《如何养育一个成年人》(Julie Lythcott-Haims)和《基业长青》(Eric Ries)这两本书,都围绕着一个核心:如何培养/保持卓越——无论是养育孩子、还是建立伟大的公司文化,都需要明确的价值观和可衡量的指标。
💬 精华片段(中文)
"即使我是最低级别的人,即使我看起来不一样,最好的想法本身以及对最好想法的坚定信念,才是最重要的。"
"The best ideas and having conviction in the best ideas regardless of all of those other factors is the most important thing."
| 术语 | 解释 |
|---|---|
| Golden Gate Claude | Anthropic 早期的一个实验项目,通过放大模型内部代表“金门大桥”的“特征”,使其在回复中不断提及该桥,展示了早期可解释性研究的成果。 |
| Opus 3 / Opus 4.5 | Anthropic 发布的前沿模型系列。Opus 3 为其建立信心,Opus 4.5 则通过与产品(Claude Code)结合引爆了用户增长。 |
| Fable (Mythos) | Anthropic 最新、能力极强但受到严格管控的前沿模型系列,由于安全顾虑被限制访问。 |
| Claude Code | Anthropic 旗下面向开发者的核心产品,是一个深度集成模型能力的编程环境,被视为发挥模型前沿能力的关键载体。 |
| MCP (Model Context Protocol) | Anthropic 发布的模型上下文协议,一种开放标准,用于连接 AI 模型与外部数据源和工具。 |
| Skills | 用户在 Claude 中可以创建和使用的自定义指令集,用以个性化模型的行为,完成特定任务。 |
| Tag | Anthropic 的新产品,允许 AI 智能体后台异步工作并汇报结果。 |
| Evals(评估/评估集) | 在 AI 开发中,这是一套标准化的测试,用于量化模型在某些特定任务或属性上的表现。在本次对话中,它被视为新一代 PM 定义需求的核心交付物。 |
| PRD (Product Requirements Document) | 产品需求文档,传统 PM 用于定义产品功能和需求的核心文档。 |
| 第一性原理 (First Principles Thinking) | 一种思维方式,指回归事物最基本的条件,将其拆分成各要素进行解构分析,从而找到实现目标最优路径的方法,而非依赖过往经验或类比。 |
| 可解释性 (Interpretability) | AI 安全研究的一个领域,旨在理解机器学习模型的内部工作原理和决策过程,例如识别出模型中的“特征”。 |
| “锯齿状前沿” (Jagged Edge) | 描述 AI 技术发展的非均衡性。模型在某些方面可能远超人类水平,但在其他一些相关方面却表现很差,仿佛一个有着锋利锯齿的前沿面。 |
| 产品悬置 (Product Overhang) | 指现有模型的能力远远没有被当前的产品形态和用户体验充分释放出来,存在巨大的价值挖掘空间。 |
| 测试时计算 (Test-time Compute) | 指在模型推理(生成答案)阶段,而非训练阶段,使用额外的计算资源来提升模型表现的技术,如让模型“思考”更长时间。 |
| 智能体 (Agent/Agentic) | 指 AI 模型能够自主地规划、调用工具、执行多步操作并完成复杂、端到端任务的行为模式,而非仅仅进行单次问答。 |
| 对齐 (Alignment) | 人工智能安全领域的核心概念,指确保 AI 系统的目标、行为和决策与人类的意图、价值观和偏好相一致。 |
| 缩放定律 (Scaling Laws) | 描述 AI 模型性能(如损失/能力)如何随着模型大小、训练数据和计算量的增加而变化的经验规律。 |
| Token(令牌/词元) | AI 模型处理和生成文本时的基本单位,可以是一个单词、一个子词或一个字符。在本集中,“sweat the tokens”意指产品经理需要深入阅读和分析用户与模型间的原始对话记录。 |
| DRRI (Directly Responsible Individual) | “直接负责人”,硅谷公司文化中用来指代对某项具体任务或项目负最终责任的个人。 |
| 蜂巢思维 (Hive Mind) | 一种比喻,指团队间的高度协同、信息透明和集体智慧,能在关键时刻无需多言即互相补位。 |
| 零到一 (0 to 1) | 彼得·蒂尔(Peter Thiel)提出的概念,指从无到有的创造,即做前所未有的事情,与从1到n的复制和规模化相对。 |