来源： Lex Fridman Podcast | 嘉宾：Nathan Lambert、Sebastian Raschka | 日期：无 分类： 其他 原文发表： Jan 31, 2026 纪要生成： 2026-02-25
本次对话邀请了两位AI领域兼具技术实力与科普能力的权威人士：Sebastian Raschka是畅销书《从零构建大语言模型》《从零构建推理模型》作者，深耕大模型架构与AI教育；Nathan Lambert是艾伦人工智能研究所（AI2）后训练负责人，RLHF领域权威，著有该领域的权威专著。本次对话围绕2025-2026年AI领域的技术突破、行业竞争、未来趋势展开，覆盖技术、商业、政策、伦理多个维度，是当前AI行业现状的全景式梳理。
本节重点 - 本次对话聚焦2025-2026年AI领域的技术突破与未来趋势，兼顾专业性与科普性。 - 介绍两位嘉宾的背景与核心贡献。 - 提及本次对话将覆盖技术、竞争、应用、伦理等多个维度的热门话题。
详细精要
💬 精华片段（中文） "在机器学习和计算机科学领域，理解某件事的最佳方式就是亲手从零开始构建它。"
"I truly believe in the machine learning and computer science world, the best way to learn and understand something is to build it yourself from scratch."
本节重点 - 2025年1月DeepSeek R1的发布是中国大模型发展的标志性事件，大幅加速了全球AI竞争节奏。 - 中美AI发展各有优势：中国开源大模型性能优异、许可宽松，美国闭源大模型商业化成熟、用户基数大。 - 短期不存在绝对赢家，技术迭代速度快，头部厂商呈现互相追赶的格局，开源模式将是未来竞争的核心变量之一。
详细精要
💬 精华片段（中文） "我认为现在2026年不会有任何一家公司拥有其他公司完全无法获得的技术，核心原因是研究人员会频繁换工作、换实验室，人员是流动的。"
"One thing I know for sure is that I don't think nowadays, in 2026, that there will be any company having access to a technology that no other company has access to. And that is mainly because researchers are frequently changing jobs, changing labs. They rotate."
本节重点 - 2025年Gemini增长势头强劲，但OpenAI作为 incumbent 仍拥有巨大的用户规模与品牌优势，Anthropic在企业级编码场景增长迅猛。 - 不同大模型各有场景优势：Gemini长上下文能力突出，Claude Opus 4.5编码与推理能力强，Grok适合实时信息查询与深度调试，ChatGPT用户习惯与生态最成熟。 - 用户选择大模型存在阈值效应：某款模型在某一个场景的出色表现会获得用户长期青睐，直到出现重大故障才会更换。
详细精要
💬 精华片段（中文） "你会一直用它直到它出错，遇到问题后再换其他大模型，这和我们使用文本编辑器、操作系统、浏览器的逻辑完全一样。"
"This is exactly it. You use it until it breaks, until you have a problem, and then you change the LLM. I think it's the same way we use anything, like our favorite text editor, operating system, or browser."
本节重点 - 当前AI编码工具呈现多元化格局，不同工具适合不同开发习惯：Codeium适合轻量级辅助，Cursor适合精细的代码编辑与Diff查看，Claude Code适合宏观层面的项目级开发。 - AI编码工具大幅提升了开发效率，将开发者从重复、枯燥的低价值工作中解放出来，让开发者可以聚焦更有创造性的任务。 - 亲手从零构建大模型是学习AI技术的最佳路径，代码的可运行性可以消除理解偏差，是最严谨的知识验证方式。
详细精要
💬 精华片段（中文） "代码不会说谎，它本质上就是数学。就算是数学，你在书中看到的公式也可能有错误，你阅读时不会运行它所以很难发现，但代码你一运行就知道是否正确。"
"I think that's the beauty behind coding. It doesn't lie. It's math, basically. Even with math, you can have mistakes in a book you would never notice because you aren't running the math while reading, so you can't verify it. And with code, what's nice is you can verify it."
本节重点 - 2025年开源大模型生态爆发式增长，中国厂商在大参数开源MoE模型上领先，美国厂商在小参数开源模型与完全开源（含数据、训练代码）的模型上有布局。 - 开源大模型的核心价值是降低使用门槛、支持本地化部署与定制化、保护数据隐私，适合对数据安全要求高的企业与开发者。 - 工具调用能力是当前开源大模型与闭源大模型的核心差距之一，2026年开源生态将重点突破这一能力。
详细精要
💬 精华片段（中文） "解决幻觉的最佳方式之一不是让模型记住所有信息，而是让它学会调用工具：数学问题用计算器，事实查询用搜索引擎，这样就能大幅提升结果的可靠性。"
"One of the most common complaints about LLMs is, for example, hallucinations, right? And so, in my opinion, one of the best ways to solve hallucinations is to not try to always remember information or make things up. For math, why not use a calculator app or Python?"
本节重点 - 当前SOTA大模型的架构仍然以GPT-2为代表的自回归Transformer decoder为基础，没有发生根本性的架构变革，核心改进集中在细节优化。 - 混合专家（MoE）、注意力机制优化（分组查询注意力、滑动窗口注意力、多头潜在注意力）是近年来大模型架构的核心改进方向，主要目标是提升推理效率、降低显存占用。 - 系统层面的优化（低精度训练、分布式训练框架）是大模型性能提升的重要来源，大幅降低了大模型训练与推理的成本。
详细精要
💬 精华片段（中文） "当前没有任何架构能够替代自回归Transformer成为SOTA模型的首选，虽然已有文本扩散模型、Mamba等替代架构出现，但仅适用于特定的低成本场景。"
"But what's true is there's nothing that has replaced the autoregressive transformer as the state-of-the-art model. So, for state-of-the-art, you would still go with that thing, but there are now alternatives for the cheaper end—alternatives that are kind of making compromises, but it's not just one architecture anymore."
本节重点 - 缩放定律在预训练、后训练、推理三个维度仍然有效，算力投入的增加仍然可以带来模型性能的线性提升。 - 预训练缩放的边际效益已经下降，后训练（尤其是RLVR）与推理时缩放是当前性能提升的核心来源，投入产出比更高。 - 大模型训练与推理的成本结构中，推理成本远高于预训练成本，厂商会根据自身用户规模与商业化能力选择最优的缩放策略。
详细精要
💬 精华片段（中文） "缩放定律已经在13个数量级的算力提升下保持有效，为什么会突然停止呢？从根本上来说它失效的可能性极低，只是随着规模增大，测试更大尺度的缩放会变得越来越难。"
"And this sometimes comes off as almost disillusioned from leadership at AI companies saying this, but they're like, 'It's held for 13 orders of magnitude of compute; why would it ever end?' So I think fundamentally it is pretty unlikely to stop. It's just like eventually we're not even going to be able to test the bigger scales because of all the problems that come with more compute."
本节重点 - 大模型训练已经形成预训练、中训练、后训练的三阶范式，不同阶段的目标与算法不同，共同决定模型的最终性能。 - 数据质量是预训练阶段的核心竞争力，高质量数据的收益远高于单纯增加数据量，专有领域数据是未来的核心护城河。 - 数据版权问题已经成为大模型训练的核心法律风险，2025年Anthropic因盗版书籍训练被判赔偿15亿美元，是该领域的标志性判例。
详细精要
💬 精华片段（中文） "如果你想加入前沿AI实验室并产生影响力，最佳路径不是去研究高大上的算法，而是找到更好的训练数据，或者优化基础设施让整个团队的实验速度提升5%。"
"The fancy, glamorous algorithmic things, like figuring out how to make o1, is like the sexiest thought for a scientist. It's like, 'Oh, I figured out how to scale RL.' There's a group that did that, but I think most of the contributions are- 'I’m gonna make the data better,' or, 'I’m gonna make the infrastructure better so that everybody on my team can run experiments 5% faster.'"
本节重点 - 可验证奖励强化学习（RLVR）是2025年后训练领域的最大突破，可大幅提升模型的推理、编码能力，且算力投入与性能提升呈线性关系，缩放性远好于RLHF。 - RLVR的核心逻辑是让模型多次尝试生成答案，通过可验证的奖励（答案是否正确）优化模型，无需人工标注偏好，可实现大规模训练。 - 过程奖励模型、价值函数是RLVR的下一代演进方向，将通过优化推理中间步骤的评分进一步提升模型的推理能力。
详细精要
💬 精华片段（中文） "RLVR不会教模型新的数学知识，它的核心作用是解锁模型在预训练阶段已经学到的知识，让模型学会如何用正确的方式调用这些知识解决问题。"
"Exactly. And so you can see that basically the RL is not teaching the model any new knowledge about math. You can't do that in 50 steps. So the knowledge is already there in the pre-training; you're just unlocking it."
本节重点 - 入门AI的最佳路径是从零实现一个可在单GPU上运行的简单大模型，掌握Transformer的核心逻辑，再逐步扩展到更复杂的场景。 - 掌握基础后选择细分领域深入研究是普通研究者脱颖而出的最佳路径，当前很多细分领域仅有少量研究，很容易做出有影响力的成果。 - 职业选择上需要平衡兴趣、收入与影响力：学术界自由度高但收入低、资源有限； frontier lab收入高、资源多但工作强度大、成果公开受限；创业风险高但回报潜力大。
详细精要
💬 精华片段（中文） "你不用试图学习所有领域的知识，那样会非常容易 burnout，聚焦在大模型这一个领域深入研究就足够了。"
"Yeah, I think you can't try to do it all because it would be very overwhelming and you would burn out. For example, I haven't kept up with computer vision in a long time; I've just focused on LLMs."
本节重点 - 996（早9晚9，每周6天，合计72小时）的工作文化已经从中国互联网行业蔓延到硅谷AI公司，前沿AI实验室普遍工作强度极大。 - 高工作强度的核心驱动因素是行业竞争激烈，模型迭代速度快，头部厂商需要不断推出新模型保持竞争力，同时员工普遍对AI技术有极高的热情，自愿投入大量时间。 - 高工作强度带来了严重的 burnout 问题，很多从业者出现健康问题与家庭矛盾，需要行业共同探索更可持续的工作模式。
详细精要
💬 精华片段（中文） "这是一个以人力损耗为代价推动技术进步的完美环境，人们真的在玩命工作。"
"It's a perfect environment for creating progress based on human expense. The human expense is the 996 that we started this with, where people do really grind."
本节重点 - 硅谷确实存在AI泡沫，从业者普遍处于信息茧房中，高估AI技术的落地速度与影响力，对真实世界的用户需求理解不足。 - 泡沫并非完全负面，建设型泡沫可推动基础设施的快速落地，加速技术迭代，只要不演变为纯粹的金融投机泡沫就不会产生严重的负面影响。 - 建议硅谷从业者多接触不同地区、不同背景的人，阅读历史书籍，避免陷入信息茧房，做出更符合真实世界需求的技术决策。
详细精要
💬 精华片段（中文） "我觉得旧金山是一个不可思议的地方，但确实存在一点泡沫。如果你进入了这个泡沫，它确实能带来极高的生产力，但也要记得走出来，读历史书，去世界其他地方看看，Twitter和Substack不是整个世界。"
"I think SF is an incredible place, but there is a bit of a bubble. And if you go into that bubble, which is extremely valuable, just get out also. Read history books, read literature, and visit other places in the world. Twitter and Substack are not the entire world."
本节重点 - 文本扩散模型是当前最受关注的非Transformer架构，借鉴了图像扩散模型的去噪思路，可并行生成多个token，推理速度远高于自回归Transformer。 - 文本扩散模型当前在质量上仍落后于自回归Transformer，适合代码Diff生成、快速响应等对速度要求高、对质量容忍度高的场景，不会完全替代自回归Transformer。 - 2026年Google将推出Gemini Diffusion模型，主打快速响应场景，有望推动文本扩散模型的大规模落地。
详细精要
💬 精华片段（中文） "文本扩散模型不会替代自回归大模型，但会成为快速、低成本、大规模场景的首选，未来的免费 tier 很可能会采用这类模型。"
"I don't think the text diffusion model is going to replace autoregressive LLMs, but it will be something for quick, cheap, at-scale tasks. Maybe the free tier in the future will be something like that."
本节重点 - 工具调用能力是大模型能力的核心突破，可大幅降低幻觉，让模型具备访问实时信息、执行计算、操作外部系统的能力。 - 当前闭源大模型的工具调用能力已经相对成熟，开源大模型的工具调用能力仍有较大差距，是2026年开源生态的核心优化方向。 - 工具调用的核心瓶颈是信任与安全问题，用户普遍不愿意给大模型开放邮件、文件系统等高权限接口，需要更完善的安全机制。
详细精要
💬 精华片段（中文） "工具调用不能完全解决幻觉问题，但可以大幅降低幻觉。大模型仍然需要知道什么时候调用工具，以及如何正确判断工具返回结果的准确性。"
"Not solve it, but reduce it. Still, the LLM needs to know when to ask for a tool call. And second, it doesn't mean the internet is always correct. You can do a web search for who won the World Cup in 1998, but it still needs to find the right website and get the right information."
本节重点 - 连续学习指模型可以持续更新权重，从新的信息与反馈中快速学习，是大模型实现类人智能的核心瓶颈之一。 - 当前连续学习的落地成本极高，无法为每个用户单独更新模型权重，主流替代方案是通过上下文窗口注入新信息（上下文学习），无需更新权重即可实现类似学习的效果。 - 边缘设备上的本地大模型是连续学习落地的最佳场景，可利用用户端的算力实现个性化权重更新，无需承担云端的大规模更新成本。
详细精要
💬 精华片段（中文） "我们其实已经有了不同形式的连续学习：从GPT-5到5.1再到5.2的版本迭代，就是一种全局层面的连续学习，吸收社区的反馈优化模型能力。"
"I think, to be honest with you, continual learning—the updating of weights—we already have that in different flavors. I think the distinction here is: do you do that on a personalized custom model for each person, or do you do it on a global model scale? And I think we have that already with going from GPT-5 to 5.1 and 5.2."
本节重点 - 大模型的上下文长度已经突破百万token，2026年有望达到200万-500万token，但1亿token级别的上下文仍需要突破性的技术创新。 - 长上下文的核心瓶颈是成本与数据：长上下文推理的显存与算力成本随长度呈二次方增长，同时训练长上下文需要的超长文档数据量有限。 - 智能上下文管理（自动压缩、滑动窗口、稀疏注意力）是当前的核心优化方向，可在不损失太多准确率的前提下大幅降低长上下文的成本。
详细精要
💬 精华片段（中文） "当前状态下，想达到SOTA性能还是需要 brute force 的全注意力机制，保证不会遗漏任何信息。2026年的核心优化方向是在保持准确率的前提下，通过更智能的上下文管理降低成本。"
"Occasionally, in some layers you might, but it's wasteful. But right now, I think if you use everything, you're on the safe side; it gives you the best bang for the buck because you never miss information. And right now, I think this year will also be the year of figuring out, like you said, how to be smarter about that."
本节重点 - 大模型的发展大幅推动了机器人领域的进步，Transformer架构、训练框架、算力基础设施的成熟为机器人学习提供了坚实的基础。 - 机器人领域的落地将首先从工业场景（亚马逊仓储、制造业）开始，家用消费级人形机器人的落地仍需要很长时间，核心瓶颈是安全性、泛化能力与成本。 - 世界模型是机器人领域的核心研究方向，可让机器人在仿真环境中学习，缩小sim-to-real gap，大幅提升机器人的泛化能力。
详细精要
💬 精华片段（中文） "在大模型领域，出错只是输出错误文本，是好玩的游戏，但在机器人领域，在千家万户的真实场景中，数十亿次交互下几乎不允许出错，这是机器人落地的核心挑战。"
"All the interesting complexities we talk about regarding learning, all the failure modes and failure cases—everything we've been talking about with LLMs where sometimes it fails in interesting ways—all of that is fun and games in the LLM space. In the robotic space, in people's homes, across millions of minutes and billions of interactions, you really are almost allowed to fail never."
本节重点 - 业界对AGI的定义尚未达成共识，主流定义包括"可完成大部分远程数字工作"、"超人级程序员"、"超人级AI研究者"等不同层级的里程碑。 - 当前大模型的能力呈锯齿状分布，在某些领域已经达到超人水平，在另一些领域仍很薄弱，没有明确的阈值标志AGI的实现。 - 超人级程序员预计将在未来10年内实现，但完全自动化的AI研究者、通用人工智能的实现时间仍存在巨大争议，可能需要10年以上甚至更久。
详细精要
💬 精华片段（中文） "我认为AGI和ASI的阈值没有特别大的实用价值，更值得关注的是AI什么时候会带来明显的经济影响，当前LLM尚未带来显著的GDP跃升，这才是更值得讨论的实际问题。"
"I think the real question, and this relates to the remote worker thing, is when are we going to see a big, obvious leap in economic impact? Because currently there's not been an obvious leap in economic impact from LLM models, for example. Aside from AGI or ASI, there's a real question of when we are going to see a GDP jump. Jump."
本节重点 - AI不会完全替代程序员，但会彻底重构软件开发的流程，程序员的工作将从写代码转向系统设计、需求定义、产品规划等高价值创造性工作。 - 资深开发者比 junior 开发者更愿意使用AI生成代码，因为资深开发者具备代码审核能力，可有效控制AI生成代码的质量，提升效率。 - 教育领域需要平衡AI工具的使用，避免初学者过度依赖AI导致基础不牢，失去成为资深开发者的能力。
详细精要
💬 精华片段（中文） "软件工程将更多转向系统设计与目标定义，软件很大程度上会被自动化生成，越来越多的人不需要看代码就能创建软件，只需要理解系统如何工作，能从大模型中提取最佳结果即可。"
"I think software engineering will be driven more to system design and goals of outcomes, where I do think software is largely going to be… I think this has been happening over the last few weeks, where people have gone from a month ago saying, 'Oh yeah, agents are kind of slop,' which is a famous Karpathy quote, to the industrialization of software when anyone can just create software with their fingerprints."
本节重点 - "大一统通用模型"的梦想确实正在降温，行业逐渐意识到专用模型在特定场景的效率与成本优势更高，未来将是多种专用模型协同的格局，而非单一模型统治所有场景。 - 前沿实验室仍在追求通用人工智能，但商业化优先级逐渐提升，会优先落地能产生实际价值的场景化能力，而非单纯追求通用能力。 - 大模型已经实现了让全人类的知识变得可及的巨大价值，即使无法实现AGI，当前的技术进步已经足以对人类文明产生深远影响。
详细精要
💬 精华片段（中文） "我们其实忽略了一个非常明显的巨大价值：大模型让所有人类知识对全世界所有人都变得可及。你可以问大模型任何问题，获得准确的答案，这对整个人类文明的影响是难以估量的。"
"I think we're not saying one actually obvious thing that we're not realizing, that's a gigantic thing that's hard to measure, which is making all of human knowledge accessible… …To the entire world. One of the things that I think is hard to articulate, but there's just a huge difference between Google Search and an LLM. I feel like I can basically ask an LLM anything and get an answer, and it's doing less and less hallucination."
本节重点 - 当前大模型厂商的主要收入来源是订阅付费（to C与to B），未来广告可能成为重要的收入来源，将大幅降低用户的使用成本。 - 垂直领域的定制化模型服务是未来的重要盈利方向，金融、法律、医疗等行业愿意为高性能的专用模型支付高额费用。 - 开源大模型的盈利模式仍在探索中，当前主要通过托管服务、技术支持、定制化微调等方式变现。
详细精要
💬 精华片段（中文） "当前大模型的服务之所以这么便宜，是因为厂商在大规模补贴，未来广告模式上线后，可能会出现免费的大模型服务，但会植入标注明确的广告。"
"Well, for now, that's because they're massively subsidized, and eventually they're going to be paid for by ads."
本节重点 - 2026年AI行业将进入整合阶段，会出现大量数十亿级别的收购案，核心标的包括AI基础设施厂商、垂直场景应用、开源模型厂商等。 - 与传统收购相比，当前越来越多的交易采用授权协议而非完全收购，对普通员工不利，无法实现股权的全部价值，可能损害硅谷的创业生态。 - 中国AI公司已经开启IPO进程，MiniMax、Z.ai等已经提交IPO申请，美国AI公司仍倾向于保持私有，避免公开市场的短期业绩压力。
详细精要
💬 精华片段（中文） "创业生态是硅谷的命脉，如果你加入一家创业公司，即使它不算特别成功，也很可能被收购，你的股权会得到回报。而现在的授权协议模式本质上是规避反垄断监管，通常只会带走核心人才，普通员工无法受益，这是硅谷文化需要解决的大问题。"
"There are countless other deals structured in a way that is actually detrimental to the Silicon Valley ecosystem—these licensing deals where not everybody gets brought along, rather than a full acquisition that benefits the rank-and-file employees by getting their stock vested. That's a big issue for Silicon Valley culture to address because the startup ecosystem is the lifeblood. If you join a startup, even if it's not that successful, your startup very well might get acquired at a cheap premium and you'll get paid out for your equity."
本节重点 - AI行业不会出现赢家通吃的格局，头部厂商各有优势，将长期共存，分别覆盖不同的场景与客户群体。 - 纯大模型服务厂商（OpenAI、Anthropic）面临云厂商的竞争压力，需要向上游（硬件、基础设施）或下游（应用、生态）延伸，构建更稳固的壁垒。 - Meta的Llama系列开源模型的发展存在不确定性，内部战略摇摆，未来可能不再推出开源的大参数模型。
详细精要
💬 精华片段（中文） "如果没有更多对开源模型的投资，我们看到的排行榜上就会全是Qwen等中国公司的优秀模型，它们正在美国和全球积累影响力。美国在AI上的投入要大得多，打造领先于闭源实验室半代到一代的开源模型仅需要约1亿美元，和这些公司的投入相比并不算多。"
"Without more investment in open models, we have all the plots on the website where it's like, 'Qwen, Qwen, Qwen, Qwen,' and it's all these models that are excellent from these Chinese companies that are cultivating influence in the US and internationally. And the US is spending way more on AI. The ability to create open models that are half a generation or a generation beyond what the cutting edge of closed labs is costs roughly $100 million, which is a lot of money, but not compared to what these companies have."
本节重点 - 美国政府已经意识到开源大模型的战略价值，白宫2025年AI行动计划明确提出鼓励开源与开放权重大模型的发展，将其视为创新与创业的重要动力。 - 禁止开源大模型发布的提议不具备可行性，会严重损害美国的创新生态，且技术扩散无法阻止，类似中国公司已经可以自主研发先进AI芯片与大模型，封锁没有意义。 - 针对开源大模型的曼哈顿计划具备可行性，仅需要少量投入即可构建领先的开源生态，对美国的AI竞争力有巨大的提升作用。
详细精要
💬 精华片段（中文） "开源对教育和人才培养至关重要，如果只有闭源模型，下一代人只有加入公司才能接触到核心技术，我们无法识别和培养有天赋的人才，这是唯一的路径。"
"Also, for education and talent, it's very important. Otherwise, if there are only closed models, how do you get the next generation of people contributing? You would only be able to learn after you joined a company, but at that point, how do you identify and hire talented people? I think open source is essential for educating the population and training the next generation of researchers. It's the only way."
本节重点 - NVIDIA在AI芯片市场的领先地位短期内难以撼动，核心壁垒不是硬件本身，而是经营20多年的CUDA生态，以及Jensen Huang领导下的极强执行力与创新能力。 - 未来AI芯片可能会分化为训练专用与推理专用芯片，推理专用芯片的需求将快速增长，Groq等厂商有望在细分领域获得市场份额。 - 只要AI技术仍在快速迭代，NVIDIA的通用GPU的优势就会保持，只有当技术进入稳定期，定制化芯片才会对NVIDIA构成实质性威胁。
详细精要
💬 精华片段（中文） "只要AI的进步速度仍然很高，NVIDIA的平台就是最灵活的，人们会愿意选择它。如果出现停滞，那么就有更多时间来开发定制化芯片，才会对NVIDIA构成威胁。"
"As long as the pace of AI progress is high, NVIDIA's platform is the most flexible and people will want that. But if there's stagnation, then with creating bespoke chips, there's more time to do it."
本节重点 - 100年后的历史学家回顾当代，会将计算（包括AI）视为与蒸汽机、电力同等重要的革命性技术，神经网络、深度学习会成为重要的技术里程碑被铭记。 - 未来人类不会被AI替代，人类仍然掌握控制权，AI始终是工具，人类的意识、主观能动性、社区与情感联结是AI无法替代的核心价值。 - AI生成内容的泛滥会提升真实人类创作、面对面交流、实体物品的价值，人类会更加珍惜真实的体验与联结。
详细精要
💬 精华片段（中文） "我认为人类完全有能力应对这些挑战，人类的本质就是建立社区、找到解决问题的方法，这是我们走到今天的核心原因。AI的机遇非常大，虽然面临很多社会与政治问题需要解决，但我相信我们最终可以实现AI的长久收益。"
"I think we will. I'm definitely a worrier both about AI and non-AI things, but humans do tend to find a way. I think that's what humans are built for—to have community and find a way to figure out problems. And that's what has gotten us to this point. I think the AI opportunity and related technologies is really big. I think that there are big social and political problems to help everybody understand that. I think that's what we're staring at a lot of right now; the world is a scary place, and AI is a very uncertain thing. And it takes a lot of work that is not necessarily building things. It's like telling people and understanding people, things that the people building AI are historically not motivated or wanting to do. But it is something that is probably doable. It just will take longer than people want. And we have to go through that long period of hard, distraught AI discussions if we want to have the lasting benefits."
| 术语 | 解释 |
|---|---|
| LLM（Large Language Model，大语言模型） | 以Transformer架构为基础，通过大规模语料预训练得到的具备通用语言理解与生成能力的模型，是当前AI技术的核心载体 |
| Transformer | 2017年"Attention Is All You Need"论文提出的架构，基于自注意力机制，是当前所有主流大模型的基础架构 |
| Scaling Laws（缩放定律） | 指大模型的性能与预训练算力、数据量呈幂律关系，投入更多算力与数据可稳定提升模型性能，当前已经扩展到后训练、推理等多个维度 |
| MoE（Mixture of Experts，混合专家） | 大模型架构优化技术，将全连接层替换为多个并行的专家层，每次推理仅激活部分专家，可在不增加推理算力的前提下大幅提升模型参数量 |
| Pre-training（预训练） | 大模型训练的第一阶段，基于大规模通用语料做下一词预测，让模型获取通用知识，形成基础模型 |
| Mid-training（中训练） | 介于预训练与后训练之间的阶段，基于高质量专用数据（长上下文、推理、代码等）进一步训练，提升模型在特定领域的基础能力，避免灾难性遗忘 |
| Post-training（后训练） | 大模型训练的最后阶段，包括监督微调、DPO、RLHF、RLVR等，核心目标是解锁模型的技能、优化用户体验，属于能力解锁阶段而非知识学习阶段 |
| RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习） | 后训练技术的一种，通过人类标注的偏好数据训练奖励模型，再用强化学习优化大模型的输出，提升用户体验与安全性 |
| RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习） | 2025年兴起的后训练技术，通过可验证的客观规则（数学题答案是否正确、代码是否可运行等）给出奖励，无需人工标注，可大规模训练提升模型的推理、编码能力 |
| DPO（Direct Preference Optimization，直接偏好优化） | 后训练技术的一种，无需训练奖励模型，直接基于人类偏好数据优化模型，相比RLHF更简单高效 |
| AGI（Artificial General Intelligence，通用人工智能） | 指具备与人类相当的通用认知能力，可适应任意新场景、学习任意新技能的人工智能，当前没有统一的定义与明确的实现时间线 |
| ASI（Artificial Superintelligence，人工超级智能） | 指在所有领域都远超人类最聪明个体的人工智能，属于远期预测的概念 |
| KV Cache（键值缓存） | 大模型推理优化技术，缓存之前token的注意力键值对，避免重复计算，大幅提升推理速度，降低显存占用 |
| Group Query Attention（分组查询注意力） | 注意力机制优化技术，将查询头分组，每组共享键值头，大幅降低KV缓存的显存占用，提升长上下文推理效率 |
| Sliding Window Attention（滑动窗口注意力） | 注意力机制优化技术，仅关注当前token之前的固定窗口内的token，降低长上下文推理的算力与显存需求 |
| LoRA（Low-Rank Adaptation，低秩适配） | 大模型微调技术，仅更新少量低秩矩阵的参数，无需更新全量模型参数，大幅降低微调的成本与显存需求，适合个性化微调场景 |
| OCR（Optical Character Recognition，光学字符识别） | 将图像中的文本转换为可编辑文本的技术，是大模型训练中提取PDF、扫描件等非结构化文本数据的核心工具 |
| Sim-to-real gap（仿真到真实的差距） | 机器人领域的核心问题，指在仿真环境中训练的模型迁移到真实世界时出现的性能下降，需要世界模型、领域自适应等技术缩小差距 |
| TPU（Tensor Processing Unit，张量处理单元） | Google自研的AI专用芯片，专为Transformer训练与推理优化，相比GPU有更高的能效比，是Google AI基础设施的核心优势 |
| CUDA | NVIDIA推出的并行计算平台与编程模型，是深度学习领域的事实标准，经过20多年的发展形成了深厚的生态壁垒，是NVIDIA的核心竞争力 |
| FP8/FP4（8位/4位浮点数） | 低精度训练技术，通过降低数值的精度减少显存占用、提升计算吞吐量，是当前大模型训练与推理的核心优化技术之一 |