DEV Community

cognitalk
cognitalk

Posted on

SSI to Release Latest TTT (Test-Time Training) Model Soon?

SSI 即将发布TTT(测试时训练)最新模型?


一、先搞清楚:这事儿到底有多真?

目前还没有正式发布,但可信度非常高,因为有多重独立信源交叉验证:

时间 信源 说了什么
2026年8月初 Gavin Baker(Atreides Management创始人)在《Invest Like the Best》播客 "SSI说他们将在8月发布他们的模型"
8月13日左右 圈内爆料人"三只草莓" SSI正在构建基于TTT的小型推理引擎,当前版本已就绪,下一代规模直接扩10倍
8月25日 Martin Casado(a16z合伙人) 社交媒体 "刚刚获得了一个新模型的访问权限。这将是今年最重要的模型发布,甚至可以去掉'之一'。"
8月25日 AI观察家Dan McAteer "Ilya真正创造了超级智能,游戏规则已经被改变了!"(这个偏夸张)

关键背书:a16z是SSI的核心投资方之一,Casado作为合伙人能提前拿到访问权限,他说的"新模型"指向SSI几乎没有悬念。再加上英伟达7月27日刚宣布和SSI达成长期战略合作、未来12个月算力扩10倍(据传投资高达50亿美元),黄仁勋真金白银砸进去,说明东西确实做出来了。

今天是8月28日周五,如果"本周发布"属实,那就是这几天的事。


二、SSI是谁?Ilya离开OpenAI后在干什么?

Ilya Sutskever,深度学习领域的"活传奇"级别人物:

  • AlexNet联合作者(2012年那篇点燃深度学习革命的论文)
  • OpenAI联合创始人、前首席科学家
  • GPT系列背后的核心技术大脑

2024年5月他离开OpenAI,创立了 SSI(Safe Superintelligence,安全超级智能),定位是一家"纯粹做研究的公司"。他当时甚至放话:在达到超级智能之前不会发布任何产品或模型

所以这次要发布第一个模型,本身就意味深长——要么是他觉得已经摸到了超级智能的门槛,要么是现实压力(投资人、算力成本)让他调整了策略。结合英伟达50亿押注,更可能是前者:技术路线有了实质性突破,需要公开发布来验证和迭代。


三、核心技术:TTT到底是什么?为什么说它"颠覆性"?

这是整条消息最硬核、也最值得理解的部分。我用考试比喻给你讲明白。

3.1 现在的AI模型是怎么"学习"的?

当前所有主流大模型(ChatGPT、Claude、Gemini、DeepSeek)都遵循同一个范式:

预训练 → 冻结 → 推理

就像一个学生:

  1. 大学四年疯狂学习(预训练,用海量数据更新神经网络参数)
  2. 毕业后大脑封板(参数冻结,不再改变)
  3. 工作中遇到问题就靠当年的知识+小抄(推理,用固定参数生成回答)

为了让这个"封板的大脑"处理新信息,行业卷的方向是:

  • 上下文窗口越来越大:从4K → 128K → 1M → 2M token。相当于允许带进考场的"小抄"越来越厚。但问题是,小抄再厚,学生也只是"翻阅",没有真正理解和内化。
  • 测试时计算(Test-Time Compute):以OpenAI o1/o3为代表,让模型在回答前"多思考一会儿",消耗更多token在草稿纸上推演。但本质上还是同一个大脑在反复琢磨,神经网络本身没有任何改变

3.2 TTT(测试时训练)完全不同

TTT = Test-Time Training,直译就是"在测试/使用的时候还在训练"。

它打破了"训练"和"推理"的严格边界:

当模型阅读一份长文档时,它不是把文档塞进上下文窗口当"小抄",而是真正去学习它——产生梯度更新,改变自身的神经网络权重。读完文档后,模型已经进化成了一个细微但全新的自己。

用同一个考试比喻:

传统模型 TTT模型
拿到新资料 翻小抄(上下文窗口) 当场学习、内化进大脑
大脑状态 永远不变 每次使用后都有微调
学完后 关掉窗口就忘了 知识已经"长"在神经网络里
类比 开卷考试 边考边学的天才学生

这正好呼应了Ilya在2025年11月Dwarkesh播客里的核心观点:AI应该像"一个非常聪明的15岁少年"——不是生来就知道一切,但进入现实环境后能通过学习和实践不断掌握新能力。

3.3 TTT不是全新概念,但SSI可能是第一个做成产品的

TTT在学术界已有铺垫。2024年7月,斯坦福和UCSD的研究者发表了TTT层(Test-Time Training Layer)的工作,可以替换Transformer中的自注意力层,在测试时为每个输入序列训练不同的权重序列。

爆料中还特别提到了一篇相关论文 《End-to-End Test-Time Training for Long Context》,核心思路就是把TTT用于长上下文场景——不是硬塞更多token,而是让模型真正"消化"长文档。

但学术论文和产品之间有巨大鸿沟。如果SSI真的把TTT做成了可用的推理引擎,那将是第一个在商业模型中实现"边用边学"的案例


四、为什么这可能是"今年最重要的发布"?

如果TTT真的work,它的影响是范式级别的:

4.1 解决长上下文的根本痛点

现在的1M、2M上下文窗口,本质上是"暴力堆料"。模型看似能读整本书,但实际上经常出现"lost in the middle"(中间信息被忽略)、检索不准、推理时找不到关键细节等问题。

TTT的思路是:与其把整本书塞进上下文让模型"翻",不如让模型真正"读"完这本书,把知识内化进权重。 读完后,你问任何问题,它不需要再翻书——因为书已经变成了它的一部分。

4.2 模型能力可以持续增长

现在的模型能力上限在发布那天就定死了,后续只能靠"记忆功能"(把对话存到外部数据库)或定期重新训练来提升。TTT意味着模型每次和用户交互都在变强——这更接近人类的学习方式。

4.3 可能改变算力经济学

当前的Scaling Law(规模法则)是:模型能力 = f(参数量, 训练数据量, 训练算力)。所有人都在堆预训练算力。

Ilya本人在2024年11月就透露过,SSI在研究"替代方法来扩大预训练"。 如果TTT能让模型在推理阶段持续提升能力,意味着不需要把所有知识都在预训练阶段灌进去,可能用更小的模型+更聪明的学习方式达到甚至超越大模型的效果。

这也是为什么英伟达要砸50亿——如果推理阶段需要做反向传播(梯度更新),那对算力的需求将是全新的增量市场。

4.4 对齐(Alignment)可能更容易

SSI名字里就有"Safe"。Ilya一直非常关注AI安全。一个能在测试时学习的模型,也意味着可以在使用过程中持续对齐人类价值观,而不是靠预训练时一次性灌输。这可能是Ilya选择TTT路线的深层原因。


五、冷静看待:目前的不确定性和挑战

消息很炸,但在正式发布之前,有几个问题必须打个问号:

5.1 灾难性遗忘(Catastrophic Forgetting)

这是持续学习领域的经典难题:模型学了新东西,会不会忘记旧东西?如果每次读文档都更新权重,模型会不会"学了后面忘了前面",甚至把预训练学到的核心能力覆盖掉?

SSI的解决方案目前未知,但爆料提到他们强调"内部反馈"机制——可能模型有一套自我评估和修正的系统,来防止遗忘。

5.2 推理成本

传统推理只需要前向传播(forward pass)。TTT意味着推理时还要做反向传播(backward pass)来计算梯度、更新权重。计算成本可能是传统推理的好几倍甚至十几倍。 在当前推理成本已经是商业瓶颈的背景下,这能否规模化是个大问题。

不过爆料说这是一个"小型推理引擎"——可能SSI的策略是用小模型+TTT,在某些特定场景(比如长文档理解)上做到性价比优于大模型。

5.3 "今年最重要"是不是营销话术?

Martin Casado是投资人,他的话天然有利益相关。a16z投了SSI,他当然希望SSI的发布受到关注。而且回顾历史,每次有新模型发布,圈内都不缺"颠覆""革命"的声音,最后真正改变格局的寥寥无几。

但Ilya的 track record 摆在那里——他不是喜欢吹的人,SSI蛰伏两年才出第一个东西,这个节奏本身就说明不是仓促上阵。

5.4 是"小型推理引擎",不是全面超越GPT的大模型

多个信源都提到这是一个"小型推理引擎"(small reasoning engine)。所以不要期待它一上来就在所有基准测试上碾压GPT-5。它更可能是在特定能力维度(长文档理解、持续学习、推理)上展示出范式级的差异,然后逐步扩展。


六、总结:这件事的本质

用一句话概括:Ilya可能要把AI从"开卷考试的静止大脑"推向"边用边学的动态大脑"。

如果说2022年ChatGPT是"让AI能对话",2024年o1是"让AI能思考",那SSI的TTT模型如果成功,就是"让AI能学习"——这是从工具到智能体的关键一跃。

当然,一切要等正式发布、拿到实测数据才能下结论。但从技术路线的选择来看,Ilya没有走"堆参数、堆上下文"的老路,而是回到了学习的本质,这本身就值得期待。

接下来几天密切关注SSI官网和Ilya的社交账号就行——如果真的发布了,我可以第一时间帮你做技术拆解和实测对比。

Top comments (0)