GenBio · Invited Talk 06 · Yunha Hwang

来源： Invited Talk 06 · Yunha Hwang 播客： ICML 2026 · GenBio 分类： 科学 原文发表： 2026-07-10 纪要生成： 2026-07-13

基本信息

• Workshop：The 2026 Workshop on Generative and Agentic AI for Biology (GenBio @ ICML 2026)
• 类型：Invited Talk
• 题目：Genomic Language Modeling for Context-Aware Biological Discovery（面向上下文感知生物发现的基因组语言建模）
• 讲者：Yunha Hwang（MIT；GLM 系列基因组语言模型作者；联合创办科学非营利组织 Tata Bio，用 AI 模型/工具服务生物学）
• 真实时段：约 13:30–14:00（KST，7/10）

一句话概括

针对"功能暗物质"（不到 1% 的已知基因序列被实验验证）难题，Hwang 用多模态、单残基分辨率的基因组语言模型 GLM2从基因组上下文中学习蛋白共进化信号，并在其上构建把 PPI 预测重构为检索任务的 Flash PPI——实现蛋白组尺度、伪线性时间、序列-only 的微生物蛋白相互作用预测（含免费的界面/接触预测）；进一步用 Steinegger 团队新发布的高质量异源寡聚体合成数据升级为 Flash PPI 2，并把模型部署进可解释的 CCUP 平台、预算 7000 万高置信相互作用覆盖 13 万微生物基因组。

背景与动机

功能暗物质

Martin 的 talk 已铺垫好背景，很多可跳过。核心问题：不到 1% 的已知基因序列经过实验验证——即使有同源性也不知道功能是否正确，这称为功能暗物质（functional dark matter）。即便对 E. coli、结核分枝杆菌（M. tuberculosis）这类研究极充分的生物，仍分别约有三分之一、二分之一的蛋白编码基因至今未注释。而且我们只是刚触及表面：Joint Genome Institute 的研究发现，随样本增多，参考基因组的蛋白序列簇数线性增长，但宏基因组呈指数增长、无平台期——意味着有数十亿计的未注释蛋白，且未来会指数级增加。

为何在意这些"随机生物"的蛋白

生物学史上最有影响力的发现——CRISPR、Cas、限制性内切酶、Taq 聚合酶、逆转录酶、抗生素——几乎都源自微生物，且多来自缺乏经费研究的非模式生物。这些蛋白暗簇蕴含发现新功能、进而转化到生物医药与工业生物技术的巨大潜力。

为什么"序列→功能"比"序列→结构"更难

因为定义蛋白/生物学功能本身就难，不同人定义不同。功能可理解为：(1) 自然语言注释；(2) 分子相互作用（蛋白-蛋白、蛋白-RNA、调控、蛋白-小分子）；(3) 化学反应（把全细胞生物学看成协调的化学，若能解码"序列→反应"就能建模全细胞生理）。Hwang 组在这三条轴上都有工作，本次聚焦蛋白-蛋白相互作用（PPI）。

主要内容

GLM2：多模态、单残基分辨率的基因组语言模型

基因组语言模型（GLM）是在基因组语料上训练的大模型，像 LLM 一样学习基因组语言的语义（功能）、句法（调控）；可用于预测式与生成式任务。GLM2 训练于宏基因组序列（多为微生物，但分子序列/结构多样性远超人类或真核数据，堪称"基因组数据的 common crawl"）：

• 先从宏基因组的天然上下文里 call 基因，蛋白编码基因用氨基酸表示、基因间区用核酸（DNA）表示。这是刻意设计——因为蛋白是在氨基酸层面相互作用（而非 DNA），要在保留上下文信息的同时用原生模态建模相互作用。
• 像掩码语言模型一样随机 mask 多模态序列的一部分，让模型据上下文重建。期望它不仅学到蛋白内残基关系，还学到跨蛋白、超越蛋白边界的关系。
• 微生物基因组上下文信息丰富的原因：微生物基因组经历大量水平基因转移（HGT）与重组，基因组不断洗牌；若协同工作的基因不保持靠近，就有选择压力把它们保持在同一上下文里；加上操纵子结构使这些基因被共同调控、且需匹配化学计量比（尤其组装成大复合物时）。

GLM2 学到了跨蛋白共进化信号

GLM2 见过许多版本的共进化蛋白（在不同上下文、同一 DNA 区域）。可视化显示：左上是蛋白内部共进化信号（暗块=相互作用残基），下方模型能在残基级复现蛋白间相互作用，且与用配对 MSA 构建的 Potts 模型得到的共进化信号吻合——注意底部所有模型都不吃 MSA，是单序列模型（可能内部学到某种 MSA 结构）。抽取工具用的是 Sergey Ovchinnikov 组开发的机制可解释性方法 categorical Jacobian。当把这一共进化信号映射到 8Å 以下的 PDB 接触时，共进化残基确实与相互作用残基吻合。

Flash PPI：把 PPI 预测变成检索任务

categorical Jacobian 计算太贵，需要一个能便捷复现新界面的实用工具。Flash PPI 实现微生物蛋白相互作用的线性时间、蛋白组尺度预测：

• 用 GLM2 权重初始化，在 PDB 的蛋白相互作用与结构域相互作用数据上微调。
• 两级联合优化：蛋白级用对比学习（相互作用的蛋白拉近、不相互作用的推远）；同一训练循环里同时要求模型预测残基级接触图（contact map）。概念上模型要同时想两件事——哪些蛋白相互作用、以及它们在残基级如何相互作用（全局+局部、不同粒度）。
• 在线难负样本挖掘（online hard negative mining）：对角线是真相互作用（拉近并预测正接触），对角线外的暗块可用于挖掘"看似会但实际不相互作用"的难负例，强化接触预测、提升敏感度（在稀疏数据下尤为关键）。
• 结果：在困难 held-out 集上，Flash PPI 区分真/假相互作用对的性能更高（且全是序列-only 模型）；因接触预测目标，界面预测是免费附赠的，相较其他序列-only 及 MSA 输入模型，接触预测精度显著更高。消融显示联合优化、含结构域相互作用的数据多样性、难负样本挖掘共同为超越 SOTA 的关键。

为什么叫 "Flash"：检索框架实现伪线性复杂度

现有 PPI 模型问"蛋白 A 是否与 B 相互作用"，对 ~5,000 蛋白的蛋白组需至少 1250 万次计算，几乎不可行（做结构建模更甚）。Flash PPI 改问"在该蛋白组/上下文里 A 与哪些蛋白相互作用"——对 5,000 蛋白只需 5,000 次检索。推理是两阶段：先在 PPI 隐空间检索 top-k（相互作用的蛋白在此空间靠近），再只对 n×k 对预测接触。在 A100 上对一个 E. coli 基因组约 3–4 分钟完成，比现有快速工具乃至 AlphaFold3 快数个数量级。

Flash PPI 2：用合成数据升级（约两周前的更新）

PDB 里异源寡聚体数据又少又冗余：异源寡聚链对约 34 万，按 70% 序列聚类后骤降到约 1.4 万——数据太少正是 PPI 难的原因。关键在于高分辨率：模型泛化到新蛋白关键在残基级相互作用信息，只给"A 与 B 相互作用"不够（因此 BioGRID、STRING 这类只给相互作用对、不给相互作用残基的库对本模型帮助有限）。约一个月前 Martin、Chris 等发布的高质量异源寡聚体数据集恰好及时：其对数虽比 PDB 少，但序列多样性几乎是原训练数据的两倍。用它微调得 Flash PPI 2，在检索 benchmark 与 held-out 接触预测上均有提升。这很令人振奋——随折叠模型变好，此类数据会更丰富更准，可预测更多未表征生物的相互作用并形成正反馈循环。

部署：caveats 与 CCUP 平台

Flash PPI 有若干局限，直接影响部署方式：

• 只预测微生物 PPI（真核基因/基因组对 GLM2 是 OOD，基因组上下文的共进化信号不适用于真核）。
• 无法区分旁系同源物串扰（paralog crosstalk）的假阳性（基因重复/多样化家族时缺乏正确配对的粒度）。
• 一个奇怪失败模式：远缘同源物被误判为相互作用（疑因对比损失把相互作用蛋白拉到同一邻域，远缘同源物也落进去）。
• 某些蛋白（常是小蛋白或无序蛋白）行为像 hub——与 >20 个高分邻居相互作用时会被过滤掉（部分可能真实，但会让用户困惑）。
• 因此推理是流水线：先检索 → 预测接触（最耗算力）→ hub 过滤 → 同源物过滤 → 得最终集。
• 仅给用户一张网络图不够：需理解这些基因从何而来、做什么、如何在不同上下文共现共进化、对应哪些结构域。于是把 Flash PPI 集成进 CCUP（微生物基因组分析的 AI 平台）：用户给全基因组 fasta → 软件 call 基因 → 用嵌入注释工具 Gaia 预测蛋白功能 → 同时预测 Flash PPI 网络 → 用户可看网络、看基因在基因组的物理位置、看残基级相互作用。
• 因 Flash PPI 极快，团队预算了 7000 万高置信蛋白相互作用，覆盖 13 万个高质量微生物基因组（Open Genome Database）——用户输入自己感兴趣的蛋白，即可检索所有相似同源/相似蛋白出现的基因组上下文，看它可能与哪些蛋白相互作用；跨基因组的比较对区分"真实 vs 有趣 vs 异常"至关重要。

关键结论 / Takeaways

• 架构上，蛋白级+残基级的两粒度联合优化对提升速度与敏感度都关键，还带来在线难负样本挖掘的机会（稀疏数据下尤有价值）。
• 面对指数增长的数十亿蛋白，工具的速度与敏感度缺一不可，否则无法探索、比较这片空间。
• PPI 问题远未解决，预测性能有巨大提升空间；本工作最重要的一课是残基级信息至关重要——这也指明了需要什么实验数据（cryo-EM 能给残基级信息但不 scale）。
• 合成数据能提升性能，指向一个循环：Flash PPI 提名有趣对 → co-folding 模型预测残基 → 互相喂养、共同改进。
• 随生物 AI 模型越来越复杂，部署本身很重要——不能只丢模型给生物学家自己摸索，因为模型有各自的 caveat 与局限；agent 进入科研流程后更要审慎设计部署。

Q&A / 讨论亮点

• Q： 蛋白组尺度的相互作用像是整个生物动态的一个漂亮表征。你有没有想过与系统发育（phylogenetics）、理解生物间差异的联系？ A： 我们正是利用跨生物的进化保守性来挖掘这些相互作用，并通过在生命之树上做检索来验证能否跨系统发育追踪这些相互作用。很多相互作用很可能在生命之树上是保守的；若某个相互作用只是瞬时或只在单一生物出现、没有进化信号，我们就检测不到。 （因时间关系，其余问题转为线下交流。）

名词 / 引用

• GLM / GLM2（Genomic Language Model）：基因组语言模型；GLM2 多模态（蛋白氨基酸 + 基因间 DNA）、单残基分辨率，训练于宏基因组语料。
• Flash PPI / Flash PPI 2：把 PPI 重构为检索的模型；伪线性时间、序列-only、附赠界面/接触预测；Flash PPI 2 用高质量异源寡聚体合成数据升级。
• functional dark matter：功能暗物质（<1% 序列经实验验证）。
• categorical Jacobian：Sergey Ovchinnikov（"the Ovchinnikov group"）组的机制可解释性方法，用于从单序列模型抽取共进化信号。
• Potts model / paired MSA：用配对 MSA 构建的共进化基线；Flash PPI 系列均为不吃 MSA 的单序列模型。
• CCUP / Gaia：微生物基因组分析平台 / 基于嵌入的功能注释工具。
• Open Genome Database：预算 7000 万高置信相互作用、覆盖 13 万微生物基因组的资源。
• 相关数据/工作：Joint Genome Institute（宏基因组序列簇指数增长）、BioGRID、STRING（只给相互作用对、无残基信息，对本模型帮助有限）、Martin/Chris 等一月前发布的高质量异源寡聚体数据集、AlphaFold3（速度对比基线）。
• Tata Bio：讲者联合创办的科学非营利；本工作第一作者 Andre Cornman（现场）。

原文发表：2026-07-10  ·  纪要生成：2026-07-13