https://www.youtube.com/watch?v=B7DdNj_VjcU
基因组语言模型的军备竞赛：设计、防御与通用生物智能的未来
第一部分 引言与背景：嘉宾介绍与基因组语言模型概述（0% - 12%）
-
1 嘉宾介绍：
- 本集节目由Atomic AI的Brandon和Miraomics的RJ Honake主持。
- 嘉宾是Eric Nguyen，Radical Numerics的CEO兼联合创始人。
- Eric拥有斯坦福大学博士学位，师从Chris Ray教授。
- 他长期专注于长上下文基因组模型的研究，是Evo生成式模型的共同第一作者和核心构想者之一，该模型是首批生成式基因组学平台之一。随后开发的Evo 2直接促成了Radical Numerics公司的创立。
-
2 什么是基因组语言模型（GLM）：
- 基因组语言模型是一种大型语言模型，其训练数据是DNA序列，而非自然语言中的单词。
- 它学习的对象是生命的原始“织物”——构成DNA的字母序列。
- Radical Numerics团队以其创建的首批生成式基因组学模型而闻名，这些模型不仅能“阅读”DNA，还能“写作”，即生成新的DNA序列。
- 他们认为这是一个被忽视的领域，如果AI能够读写DNA，将极大地改变科学发现的方式以及对人类健康和疾病治疗的理解。
-
3 模型的实际应用潜力：
- 早期模型（如Hyena DNA）的目标是读取DNA并预测其功能。给定一段DNA序列，模型可以预测其调控功能或对基因组的影响。
- 这对科学家很有价值，因为人类对自身基因组的了解还很有限，尤其是关于DNA字母组合如何编码功能和性状的“语法规则”。
- 这类模型的一个关键优势是能够捕捉“长程相互作用”，即在很长的序列范围内识别模式和基序，克服了传统语言模型在处理长输入时性能下降的问题。
第二部分 从阅读到写作：生成式基因组学的突破（12% - 25%）
-
1 Evo模型的诞生与核心理念：
- Evo模型的问世标志着“生成式基因组学”领域的真正开端。其核心理念不仅是阅读DNA，更是生成DNA。
- 目标是加速生物学家和科学家从生物学，特别是基因组学中学习和发现的过程。
- 团队认为，生成式AI在自然语言领域取得了巨大成功，将其应用于同样未被充分理解的DNA语言，潜力巨大。
-
2 生成式模型解锁的新能力：
- Evo模型展示的第一个令人瞩目的成果是设计了一个CRISPR-Cas系统。这是一种能够切割DNA本身的酶。
- Evo的独特之处在于它能跨越多种模态和尺度进行生成。CRISPR-Cas系统由RNA和蛋白质共同组成，而Evo作为一个单一的DNA模型，能够同时设计这两种组分，这在之前是无法实现的。
- 团队向Evo展示了大量天然的CRISPR-Cas系统，并要求它创造一个新的系统。结果，Evo成功发现了一个全新的CRISPR-Cas系统，相关成果登上了《科学》杂志封面，Eric也因此获得了TED演讲的机会。
-
3 里程碑式的成就：从头生成首个AI基因组：
- 科学家们利用Evo模型实现了另一个重大突破：首次使用AI从头生成一个完整的基因组。在此之前，人类只能通过“复制粘贴”已知片段的方式来构建DNA。
- Evo生成的基因组是一个功能性噬菌体（一种病毒）的基因组。
- 这一成果是整个科学界和Radical Numerics公司的关键转折点。它既展示了创造自然界不存在的新生命体的可能性，也凸显了这项技术潜在的危害性。
-
4 引发对生物安全的思考：
- 这项成果引发了来自各方的反馈，既有兴奋也有担忧。人们开始想象这项技术的未来发展轨迹及其可能带来的后果。
- 因此，公司认为，不仅要推动这些模型的生物设计能力，还必须发展其作为防御工具的能力，以防止潜在的滥用和生物风险。
- 许多前沿实验室也开始关注AI模型设计生物序列所带来的新兴风险。
- 现有的安全措施多集中在自然语言层面（例如，聊天机器人会拒绝谈论制造病毒的话题）。但Eric强调，还需要在生物序列层面建立安全防护，即拥有能够理解序列本身是否具有致病性的模型。这种能力可以用于环境监测、国家安全等领域的防御系统。
第三部分 技术演进与对齐：从Evo到Omni的飞跃（25% - 45%）
-
1 Evo模型的局限性与Omni的目标：
- 尽管Evo展示了跨模态应用的潜力，但在许多特定任务上，尤其是在人类基因组学方面，其表现不如专门的小型模型。这导致部分社区质疑使用大型语言模型的必要性。
- Omni模型的目标之一是解决这个问题，核心方法是引入“中间训练”（Mid-training）和“后训练”（Post-training），也就是广义上的“对齐”（Alignment）。
-
2 “对齐”在基因组模型中的含义：
- 在自然语言模型中，“对齐”是将预训练的基座模型调整得更有用、更符合用户需求的过程。
- 此前的大多数基因组模型只经过了预训练，相当于未对齐的基座模型。Evo只是展示了预训练的潜力，而Omni则是让模型真正对科学家有用的一步。
- Omni通过对齐和后训练，使模型能够理解并执行科学家提出的具体问题，例如“给定野生型和突变序列，帮我找到致病变异”。这种问答形式的能力不会仅仅通过预训练自动涌现。
-
3 Omni的实现方式与技术细节：
- “对齐”在基因组模型上可以理解为一种特殊的微调。关键在于设计正确的输入结构，例如使用特殊标记（Token）来提示模型当前的任务（如疾病预测或序列设计）。
- 这类似于自然语言中的“思维链”（Chain of Thought），通过展示一系列期望的输出示例来引导模型。
- 团队在模型架构上保持灵活性，既可以采用多任务头（Multiple Heads）的方式，也可以向单一统一模型的方向发展。后者被认为更能激发模型的泛化能力和涌现特性。
- 团队的核心理念是“统一”：认为DNA是所有生物信息的根基，一个统一的模型可以从DNA出发，学习并整合RNA、蛋白质等其他模态的信息。
-
4 Omni的顶级结果与性能提升：
- Omni在多个基准测试中取得了领先成果，特别是在“变异效应预测”（Variant Effect Prediction）方面。
- 该任务是判断DNA中的一个字母变化（变异）是否会导致疾病。由于人类基因组极其庞大且复杂，目前只有极少数的变异能被确定与疾病相关。
- DNA模型通过计算变异序列与参考序列的“似然比”来进行预测。模型基于海量DNA训练，知道哪些序列模式是“常见”和“健康”的，如果一个变异导致序列变得罕见，模型就会认为它可能是致病的。
- Omni的关键突破在于，它在最难预测的“非编码区”（Non-coding Regions）表现出色。非编码区占基因组的98%以上，调控着基因的表达，其变异与许多疾病相关，但传统的生物信息学工具难以处理。
- 相比之前的Evo 2（零样本方法）和Borzoi（监督学习方法），Omni通过在中间训练阶段引入任务的结构化格式（Q&A风格），实现了显著的性能提升，甚至在综合了多种最佳方法的CAD评分上也超越了对手。
第四部分 创新应用与机制探索：思维链与机械可解释性（45% - 65%）
-
1 思维链（Chain of Thought）在基因组设计中的应用：
- 受自然语言领域启发，团队探索了“思维链”在基因组设计中的可能性。其核心思想是让模型“展示其工作过程”，通过逐步推理来得出更好的结果。
- 在一个RNA适配体（Aptamer）设计实验中，团队向模型展示了一系列按适应度分数（Fitness Score）从低到高排序的RNA序列。
- 模型在学习了这个“逐步变好”的模式后，能够自行延续这个轨迹，生成出从未见过但具有更高适应度分数的全新RNA序列。
- 这个范式极具潜力，因为它适用于任何有“序列-适应度分数”对应关系的生物学设计任务，例如设计针对特定细菌的噬菌体或提取稀土元素的蛋白质。用户只需通过“提示工程”（Prompt Engineering）就能指导模型进行设计。
-
2 模型的竞争优势与对结构的理解：
- 团队的优势在于处理需要“上下文”的任务。例如，在设计稀有矿物结合蛋白时，模型可以利用微生物基因组中该蛋白周围的非编码区域作为上下文，从而生成更合理、更多样化的变体。
- 模型虽然主要基于DNA序列训练，但似乎隐式地学到了RNA和蛋白质的结构信息，这体现在RNA设计任务的成功上。未来计划显式地加入2D和3D结构信息。
-
3 机械可解释性（Mechanistic Interpretability）：
- 这是一个新兴领域，旨在探究模型内部到底学到了什么模式。
- 团队通过分析模型的嵌入（Embeddings）和激活值（Activations），试图理解模型为了完成预测任务，在其权重中压缩和提炼了哪些关键信息。
- 早期的可视化分析显示，模型已经学会了诸如GC含量、重复序列数量、转录因子结合基序等简单的特征。
- 最终目标是绘制“疾病流形”（Manifold of Disease），即模型内部表征空间中不同疾病的结构化分布。这将有助于发现未知的生物学模式，并为设计转录因子等复杂分子提供新思路。
第五部分 生物安全与防御：双授权使命与军备竞赛（65% - 85%）
-
1 公司的“双授权”（Dual Mandate）使命：
- Radical Numerics认为，开发强大设计能力的公司，同样有责任和能力去开发相应的防御能力。
- 一个好的生成模型，本质上也是一个优秀的判别模型。能够生成序列的模型，同样擅长判断一个序列是否具有致病性。
- 因此，公司将生物安全与防御（Biosecurity & Biodefense）作为其核心使命的一部分，而不仅仅是事后考虑。
-
2 生物防御的四大支柱：
- 检测与监控（Detection & Surveillance）： 从环境中（如机场拭子、污水系统）检测是否存在病原体序列。
- 归因（Attribution）： 一旦发现威胁，判断其来源——是天然产生、来自敌对国家的实验室，还是人为改造的。
- 应对措施（Countermeasures）： 研发抗病毒或抗菌药物等应对手段。
- 威慑（Deterrence）： 属于政府层面的宏观策略。
-
3 现有防御体系的不足与AI的机遇：
- 目前的生物防御体系主要依赖于“序列匹配”（Sequence Matching），即把未知序列与已知病原体数据库进行比对。这种方法无法应对新型病原体或经过刻意伪装（如改变拼写但保持功能）的序列。
- AI模型能够做到“功能感知”（Function-aware），即使序列的字母组成完全不同，但只要其功能（如致病性）相似，模型就能识别出来。这就像自然语言中的“释义”（Paraphrase），意思相同但说法不同。
- 这对于DNA合成公司尤为重要。目前，任何人都可以像网购一样订购定制DNA。AI驱动的检测工具可以为这些公司提供一个“过滤器”，判断订单中的序列是否危险。
-
4 面临的挑战与军备竞赛的必然性：
- 防御工具不可能做到100%完美，总会有漏网之鱼。但这不意味着防御没有价值。关键在于“提升基线”（Raise the Bar），将防御水平从不存在的AI技术提升到能与攻击能力抗衡的水平。
- 这是一个典型的“军备竞赛”（Arms Race）：设计能力会越来越强，防御方必须努力追赶甚至超前。
- 与网络安全不同，生物防御的难度更大，因为人类的基因组是固定的，无法像软件一样打补丁。但同时，发动生物攻击的门槛也很高，从设计序列到制造出成功的病毒还有很长的路要走。
- Eric认为最大的威胁并非某个特定的场景，而是AI正在降低设计和制造生物武器的门槛，这会极大增加恶意使用（无论是蓄意的国家行为还是意外的实验室泄漏）的潜在“量级”。
第六部分 瓶颈、愿景与总结（85% - 100%）
-
1 当前最重要的瓶颈：
- 计算资源（GPUs）： 这是几乎所有AI实验室的共同瓶颈。
- 思维模式的转变： 更深层次的瓶颈在于如何改变科学家的思维方式。很多资深专家因为对领域了解过深，反而对新事物持悲观态度，容易看到各种困难。团队希望吸引那些既是领域专家，又保有想象力、渴望改变现状的“梦想家”。
-
2 给观众的核心信息：
- 在AI研究社区，许多人曾以为必须在“前沿AI技术”和“有意义的应用（如改善人类健康）”之间做出选择。
- Eric想传达的信息是：你不需要做这个选择。你可以同时从事自己真正关心的事业（如推动生物学和医学进步）和开发最前沿的AI技术。这正是Radical Numerics正在做的事情。生物学正处在AI创新的最前沿。
-
3 结语：
- 主持人感谢Eric的分享，并鼓励听众阅读博客文章，深入了解其中的架构创新和机械可解释性研究。
- Eric再次强调，生物学确实是AI发展的前沿阵地，并对参与节目表示感谢。
Top comments (0)