https://www.youtube.com/watch?v=VGIbhIW5ljk
整文标题：《AI 自进化与"发现模型"：Anthropic 八成代码自写背后，Apodex 两位一线研究员谈 RSI、验证与科学品味》
第（一）部分｜开场引入：Anthropic 承认 80% 代码自写，RSI 成为硅谷热词（约 0% – 6%）
1 本期话题缘起：Anthropic 承认目前 80% 的代码已由 Claude 自己编写，同时发出警告——AI 可能很快进入"递归自我提升"（RSI, Recursive Self-Improvement），即自己设计、自己训练下一代 AI，是硅谷今年对模型能力最热的讨论方向之一。
2 嘉宾与公司背景：本期两位嘉宾来自 Apodex，陈天桥出资创立并亲自主导；公司定位特殊——不做图生图、不做视频生成，只做"Heavy Duty Solver"，专啃没有标准答案、人类自己都不知道从哪下手的难题；想做的模型叫"Discovery Model（发现模型）"，目标是提出人类没想到的假设、自己验证、解决未被解决的科学难题；公司名 Apodex 词源来自希腊语"证明/论证"。
3 主持人抛出的核心关切：如果 AI 可以教自己，人类科学家还剩什么？怎么确保模型自我进化时不跑偏？Beibin 提到自己"蒸馏自己"的想法，甚至让主持人有一瞬间觉得他"下一刻就工作不保"。
第（二）部分｜嘉宾介绍 + RSI / 自进化是不是新概念？（约 6% – 16%）
1 两位嘉宾身份：
- Simon 杜少雷：华盛顿大学计算机系副教授，Apodex 首席科学家，负责训练与推理方向。
- 李辈滨（Beibin）：Apodex 首席科学家，负责代码与自进化方向。 2 从预训练/后训练/Coding/DeepResearch 到 Self-evolve 的脉络：Simon 认为内核是同一件事在提高——推理能力、长链推理、在环境中探索→获得信号→再探索，不管 DeepResearch 还是 Coding 内核都一样，只是方向细微差别。 3 自进化并非新概念：Beibin 回溯——八九十年代就有 AI self-evolution 讨论；纯 Language Model 的自进化可推到三年前 Google 的"LLM as Optimizer"论文；他在 AutoGen 时做过"Agent Optimizer"；xAI 时期做 Agentic RL、MCP Tools。 4 为什么今年 RSI 突然爆火：模型能力上来后，"写代码"这件事一旦变强，训练的合成数据、数据清理、训练代码、infra 代码全是代码形式，模型自我提升就非常自然；Andrej Karpathy 年初发的 AutoResearch 项目把概念彻底点燃。
第（三）部分｜RSI 与"长程任务"：递归式 vs 往年自进化（约 16% – 28%）
1 RSI 中 R = Recursive 的含义：Beibin 解释——自进化像一个圆环（模型自己找问题→出题→解答→训练自己），RSI 是"垂直递归式"向上增长，和以往 self-evolution 的区别在于可以"多提高几遍"。
2 为什么今年能跑通 Recursive：往年 LLM as Optimizer 只能优化自己约两三小时，久了偏差累积就崩；今年模型能处理长程任务，所以可以 recursive 多轮。
3 Claude 能力翻倍数据：2024年3月 Claude 3 Opus ≈ 人类 4 分钟任务 → 一年後 3.7 Sonnet ≈ 1.5 小时 → 再一年 Claude 4.6 Opus ≈ 12 小时；业界大致共识是"模型能做的人类时长每 7 个月翻一倍"，快于摩尔定律。
4 长程任务的定义：不是单步（如校对错别字），而是从规划→执行→验证→再规划的十几步链条，人类要 20–30 小时，模型能在无人监督下走完。
5 长程任务的三大技术难点（Simon + Beibin）：
- 架构：传统 Self-attention O(n²)，百万上下文推理成本高，现有解如 GDN、GDNv2、DeepSeek-V4 Pro 有自己的架构。
- 训练数据：百万上下文 inference 不难，但预训练/后训练数据里很难填满（《哈利波特》好几部才百万 token，最大代码仓库也未必够），容易 OOD。
- Infra：GPU kernel 优化、训练时/测试时 infra 都指数级更难。 6 Agent 架构补充（Simon）：即使有 100 万上下文，真长程任务仍超限，需要 agent + 记忆技术处理超长上下文。
第（四）部分｜递归漂移 + Apodex 的验证方法论（约 28% – 42%）
1 递归漂移（Recursive Drift）的学术痛点：模型自生成训练数据时，推理错误会逐代累积；即使答案结果对、推理过程错，也会被继承放大。
2 Apodex 的解法主打 Verification（验证）：公司名 Apodex = 希腊语"证明/论证"， slogan "很多 AI 系统生成答案，Apodex 验证它们"。
3 分领域验证方法：
- 代码：单元测试 rule-based，但有 test case 过宽/过窄的细微漂移问题。
- 数学：Lean 形式化证明。
- 开放式问题（依赖人类判断）：用 Agent Team。 4 Agent Team 架构细节（Beibin）：
- 问题分解 → 多个子 agent 解题 + 另一组子 agent 单独验证（拆成两个避免上下文干扰，效果明显更好）。
- 冗余设计：同一问题多个 agent 做，全局 agent 判哪个更准，比单 agent 好很多（冗余思想在计算机史久矣）。 5 训练时专门训"验证能力"：让 agent 判断信息源可靠性（论坛 vs 教材）；RL 时裁判也一起学，防 reward hacking。 6 怎么判断一家公司的 RSI/验证能力真假：Beibin 给的判断框架——
- 技术上：底层代码/infra/训练是否达标。
- 意愿上：是否意识到自进化要强化的点。
- 深聊细节：在 harness（脚手架）进化护城河低（调 API 就行，开源/学术界都能做）；后训练/预训练自我进化才难，需大量资源；公开 AutoResearch benchmark 刷分≠产品级 scalable。 7 Apodex 自己的三路并进：预训练（数据采集/清理自进化）+ 后训练（诊断→造配方→自训练→验证→再诊断）+ harness（两只脚交替，左脚踩右脚往前跑，后训练进化带动 harness 进化，难解耦）。
第（四）部分补｜DeepResearch 是自我递归的重要一环（约 42% – 50%）
注：这部分和上面验证段在稿子里是顺下来的，但话题转到了 DeepResearch，单独拎出来更清楚。
1 搜索能力是后训练的本质能力：发现模型短板 → 需针对性造任务和答案 → 造任务高度依赖搜索（语料/代码/资料），所以 DeepResearch 是非常 general 的能力，也是 Apodex 先做 DeepResearch 的原因。
2 Apodex 基模来源：在通义千问 3.5 上做后训练；原子能力针对性提——计划、搜索、Agent Team 协同；预训练在开发中，未来完整链路（预训练→成品→产品）都会有。
3 榜单表现（Simon）：BrowseComp（OpenAI 出，刁钻搜索题）、DeepSearchQA、Frontier Science（科研计划制定）都拿了 SOTA，比闭源模型还好。
4 防榜单污染：评测时主动屏蔽 GitHub 等能搜到答案的网站；污染严重的榜单干脆不报。
5 "聪明 AI 干不过会互相 check 的团队"：Beibin 观点——基于 Self-attention 的本质天花板，上下文越长 attention 越散，Linear Attention 也解决不了；人类也需要纸笔，agent 同理，需多 agent + 记忆机制。工程能力 vs 模型能力 = 1+1>2，模型到一定程度靠 agent 优化能跃升，agent 到顶了再靠模型本质提升。
6 对创业者的启示（泓君原问）：垂直领域把 agent 工程做到极致、多子 agent 互相 check，护城河不容易被基础模型升级覆盖；但要注意模型月月出新，harness 需跟着微调适配新模型"品味/行为"。
第（五）部分｜Discovery Model（发现模型）vs Generative Model（约 50% – 62%）
1 Apodex 长期愿景：Heavy Duty Solver，解决难问题而非聊天机器人；经济逻辑——卖 token 价值 << 解决人类未解问题本身的价值；切入领域先生物医药（制药/靶点发现/老药新用/疾病诊断），内部有 HDD（Heavy Duty Discovery）团队专门筛最难问题。
2 Discovery Model 与 Generative Model 的根本区别（Beibin）：
- 生成模型：从已知信息找答案。
- 发现模型：提出人类没想到过的假设 + 自己验证。
- 两大难点：① 假设要 OOD（预训练数据里找不到）；② 假设怎么验证——无标准答案、难模拟。 3 "大胆假设，小心求证"映射到模型：假设生成相对容易，难的是假设质量 + 验证闭环；self-evolution 是通向 Heavy Duty Solver / Discovery 的主要方法。 4 "会提问"是高维 Meta 能力：现在 SWE-Verified 类题训的都是"解题家"；会提问 = 自我诊断→自我造题→自我训练这个后训练 loop 里的能力，是 Apodex 接下来重点。 5 学术品味（Taste）：区分 incremental（灌水）问题 vs fundamental（本质）问题，需和顶级科学家对齐；陈天桥常带研究员和顶级科学家讨论、给洞见/数据。 6 顶级科学家的共性怎么转成计算方法：不看论文数量看最好那篇的质量，追求顶点；写入"模型宪法"；训练方法上 RLHF / SFT / RL，最简单的是偏好——让科学家判断两道题哪个是灌水题，让模型多提非灌水题。 7 Beibin 补充——模型现有两个毛病影响"提假设"：
- 拍马屁（sycophancy）：用户说什么都对，难提大胆假设。
- 对冲行为（hedging）：这也对那也对，甩锅式回答。
- 根源：RLHF 的偏好数据来自人类投票，人类本身就偏好"说好话""格式漂亮的 Markdown"，模型就被注入这类人格。
- Apodex 因不做 ToC 聊天模型，可避开大众偏好；未来用顶级人类标偏好数据，从数据源解决。
- 品味要平衡："既不拍马屁，也不鸡蛋里挑骨头"，后者也是要防的——训过头了模型变成杠精，仍需品味平衡。Constitution AI（借鉴 Anthropic）写进权重，定义模型性格；用户说错要纠正。
第（六）部分｜赛道对比：Apodex 在"AI 做科学家"战场上的优势（约 62% – 72%）
1 同赛道玩家：OpenAI 把"能扛大型研究课题的 AI 研究员"定成头号目标；DeepMind 从 AlphaFold（诺奖）到 Gemini Co-scientist；Anthropic Dario 想做"国家级科学家天才"。
2 Apodex 差异化：
- 不做 ToC 聊天模型 → 可调权重、不取悦用户偏好。
- 专注 + 初创文化：陈天桥亲自卷，天天和研究员交流给方向；组织摩擦小、执行力强，比大厂快。
- HDD 团队：全职员工对接顶级科学家，从几千个科研问题里筛最有价值的——有限 GPU / 人力下选对问题比啥都重要。 3 AI for Science vs Heavy Duty Solver（Beibin 厘清）：
- 垂域模型：某领域大量数据训，专攻该领域。
- HDS：仍是通用模型，但重点训元能力——verification、分析、搜索、planning，不直接塞 50% 生物数据。
- AI for Science 和 HDS 重叠度高，所以 Apodex 先聚焦医药/生物。 4 泓君补：DeepMind 那条线——从蛋白折叠到药物-蛋白结合预测，只解决了新药研发上游计算段，离临床还有巨大空间，但光这段已撑起 30 亿美元融资；科学问题无穷（生物/材料/物理/太空），不止一家公司能成。
第（七）部分｜RSI 闭环时间表 + "蒸馏 Beibin"与跑偏焦虑（约 72% – 86%）
1 Beibin 的原话重提："最快半年内 RSI 闭环能跑通一环，R（recursive）要多 1–2 年"。
- "一环"指什么：后训练闭环——模型在某个领域（如材料科学 coding）自己发现代码问题→造训练环境和数据→自我验证是否有提升→迭代。Anthropic 80% 代码自写是信号，但"模型自我进化时不跑偏"仍是没完全解决的问题。
- 跑偏的两层含义：安全层面跑偏 + 目标层面跑偏（比如你说"造更好的材料模型"，它可能牺牲疏水性/成本等其他维度来凑指标）。
- Beibin 现在的解法（"笨办法"）：每天读模型输出、读 agent 每步操作，确保可控；发现蠢行为就停掉手动调——这本质就是"员工蒸馏"：把 Beibin 每天做的事（读代码/改代码/读输出/校验）蒸馏到 agent / 模型 capability 里，加速自进化 loop。
-
"假设真把 Beibin 蒸馏了，会失业吗？"：
- 嘴上说不担心是假的，但乐观。
- 2021 年 GPT-3 进 GitHub Copilot，打函数名就补全整函数，当时 PhD 最后一年的 Beibin 觉得"毕业即失业"；五年后还在，但工作内容变了——不再一行行写函数，而在更高维度监控智能体写代码。
- 模型会取代"今天我做的事"，但不一定取代"五年后我会做的事"。
- SI（自我提升）跑通 vs R（递归）跑通：半年到一年能跑通循环（SI），但漂移没法完全解决；目标把漂移从普通模型每代 10% → 降到 1% → 再降到 0.1%/0.01%，监控周期才能拉长到 3–6 个月回看一次。
- 品味最终是谁的品味：现阶段主要是 AI 研究员品味，间接被创始人（陈天桥）品味影响（选人即选品味）；但长远看（5 年），类比 AlphaGo → AlphaZero，AI 会通过 RSI 形成自己的品味，人类数据只是 warm start。
第（八）部分｜陈天桥的角色：与马斯克的风格对比（约 86% – 95%）
- 陈天桥在 Apodex 的具体介入：战略把控，常和研究员开会对齐方向；研究员（Simon 强化学习背景、Beibin AI4Science 背景）容易把学界习惯带进来，陈天桥会跳出来掰正偏离公司使命的点。
- 具体例子：HDS 本该"先分解问题→再搜索→再总结"，但为了刷搜索能力塞了太多搜索数据，模型行为变成"上来就搜、不先思考"，陈天桥自己用模型能感觉到不对，要求改回来——从数据 + agent 形式双向改，模型"宪法"也主要是陈天桥自己定的。
-
陈天桥 vs 马斯克：
- 性格类似，但看问题方法不同。
- 马斯克嘴上说类似 heavy duty 的话，但 Grok 实际重点在 Chat / 画图 / X 上互动，每周问 Grok for X 进度，注重 ToC 聊天功能。
- 陈天桥说做 HDS 就只做 HDS，图片/视频生成从头到尾明确不做，与目标正交，极度专注。
第（九）部分｜结尾：泓君的反思（约 95% – 100%）
- Simon 那句话点住的更大问题：顶级科学家不是看发多少论文，看最好那篇的质量——那 AI 的品味如果从人类顶级科学家"热启动"，本质是被少数人塑造的；未来面向大众的 ToC AI，该代表谁的价值观？
- 收听渠道提示：小宇宙、苹果播客、喜马拉雅、蜻蜓 FM、Spotify；视频版 B 站、YouTube 搜"硅谷101播客"。
Top comments (0)