DEV Community: cognitalk

翁荔Scaling Law博文解读

cognitalk — Thu, 02 Jul 2026 17:00:03 +0000

https://www.youtube.com/watch?v=o0Bl3zeDfJM

博客原文地址 https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

先通俗易懂的解读这篇硬核博客 👇

🎯 一句话版

模型越大、数据越多、算得越久，AI 就越聪明——而且变好的速度和规模之间，大致遵循一条"幂律曲线"。

但到底"模型"和"数据"谁该先加大？这是整篇文章争论的核心。

🍳 用一个做菜类比

假设你在练一个超牛大厨（= 训练 AI）：

模型参数量 N = 厨师脑容量（记菜谱、技巧的能力）
数据量 D = 你让他练过的菜品份数
计算量 C = 总时间 + 灶台费（钱/电）

🔹 Kaplan（2020）说：

"脑子大的厨师，学得快，所以给同样预算，优先把脑容量搞大，少练几道菜也行。"

→ 结果：早期大模型都偏小数据量训练（后来发现——其实练少了）。

🔹 Chinchilla（2022）反驳：

"不对！脑子和练习题要一起加，模型翻倍，题也要翻倍，效果才最好。"

→ 用更小模型 + 多训 4 倍 token，干翻了更大的 Gopher。

→ 现在业界共识基本倾向 Chinchilla：N ≈ D ∝ √C

📉 那什么叫"缩放定律（Scaling Law）"？

简单说就是：

你把 模型大小 / 数据量 / 算力 画成对数坐标

→ 测试集上的错误率会近似沿一条直线往下降

就像这样感觉：

loss
 ↑
 |        /
 |      /
 |    /
 |__/___________ log(N) / log(D) / log(C)

⚠️ 但注意：

只是经验规律，不是物理定律
外推容易翻车（拟合细节一变，预测差很多）

🔁 现实问题：好数据不够，要重复练？

现实中高质量文本有限，只能让模型反复看同一批数据：

稍微重复 → 还行
大量重复 → 背答案（过拟合），泛化变差
越大模型越怕重复数据

论文给了一些经验修正，但本质还是：

新数据 >> 旧数据多刷几遍

🪤 为什么容易算错？

拟合 scaling law 时这些都会坑你：

算不算 embedding 参数？
loss 怎么取平均？
学习率调度一变，曲线就歪
用几个小模型外推 → 可能差一个数量级

所以文章警告：别盲目信一张拟合直线就决定花几百万美元训模型。

✅ 最通俗总结

AI 越大 + 数据越多 → 越好，且较规律地变好（scaling law）

模型和训练数据要同步放大（Chinchilla 观点胜出）

重复刷旧数据有损，新数据最值钱

Scaling law 是经验工具，不是铁律，拟合要非常小心

博文详细要点内容

这篇 Lil'Log 博客文章《Scaling Laws, Carefully》系统性地梳理和批判性分析了深度学习尤其是大语言模型（LLM）中的神经缩放定律（Scaling Laws），并深入探讨了其拟合细节、Kaplan vs Chinchilla 之争、数据受限与重复训练下的修正，以及实践中拟合缩放定律的陷阱。

下面按文章结构给你做个中文要点总结：

一、什么是 Scaling Law（缩放定律）

核心观察：训练损失 L 随模型参数量 N、数据量 D、计算量 C 增大，按幂律（power-law）下降，在对数坐标下呈直线。
典型形式：L ∝ N^{-α}、L ∝ D^{-β}、L ∝ C^{-γ}
早期理论铺垫：Amari (1992)、Hestness et al. (2017)、Rosenfeld et al. (2020) 已在图像/NMT 等任务上观察到类似规律。
作用：用小规模实验拟合 → 外推预测大模型所需 token / compute。

二、Kaplan et al. (2020) — 早期 LLM Scaling Law

针对 Transformer LM，发现 test cross-entropy loss 对 N（非 embedding）、D、C 均呈幂律。
联合形式：L(N,D) = E + A/N^α + B/D^β
关键结论（后被质疑）：在固定 compute 预算下，N_opt ∝ C^0.73，即模型放大速度应快于数据 → 10x compute → ~5.5x 模型，~1.8x token。
训练 FLOP 近似：C ≈ 6ND（forward 2N + backward 4N per token）。

三、Chinchilla / Hoffmann et al. (2022) — 推翻 Kaplan 的 compute-optimal 分配

更系统的实验（70M–16B param，5B–500B tokens），三种独立方法得到一致结果。
核心修正：α ≈ β → 模型参数量 N 与训练 token 数 D 应按同等比例缩放（即 N ∝ D ∝ √C）。
在同等 compute 下，比 Gopher 小 4x 但训练 4x 更多 token 的 Chinchilla (70B, 1.4T) 全面优于 Gopher (280B, 300B)。
Chinchilla 认为此前大模型普遍训练不足（undertrained）。

四、为什么 Kaplan 和 Chinchilla 结果不同？

文章给出两个主要原因：

尺度差异：Kaplan 只用较小模型外推，对数-对数拟合微小偏差导致外推差距巨大。
Embedding 参数是否计入：
- Kaplan 不计 embedding params，Chinchilla 计总数。
- Pearce & Song (2024) 证明：小模型下 embedding 占比不可忽略，修正后在 Kaplan 的小模型区间可复现 ~0.73 指数；大尺度下收敛到 Chinchilla 的 ~0.5。

五、Scaling Law 为何是幂律？— 理论假说

数据流形维度假说（Sharma & Kaplan 2020）：模型将 d 维数据流形划分为 O(N) 区域 → 分辨率 ∝ N^{-1/d} → 幂律。
知识量化假说（Michaud 2023, Brill 2024）：技能按幂律分布被学会 → 平滑幂律衰减。
还有其他解释（谱尾、核特征值、自然语言统计特性等），尚无统一理论。

六、数据受限 & 重复训练（Data-Constrained / Repeated Data）

真实场景高质量唯一 token 有限，常需多 epoch：

Hernandez et al. (2022)：少量重复数据可出现 double-descent，重复损害 OOD 和微调。
Muennighoff et al. (2023, Data-Constrained Scaling)：
- 分解 D = U_D × (1+R_D)，引入"有效数据" D'，重复 token 价值按指数衰减（half-life 参数 r_D）。
- 对称处理过大模型（excess params）→ N'。
Lovelace et al. (2026)：
- 更大模型对重复数据更敏感 → 显式引入 overfitting penalty ∝ N / U_D × 重复次数。
- 强 weight decay 可缓解重复数据导致的过拟合。
两者均为经验拟合，缺乏严格理论解释。

七、Scaling Law 拟合的实践陷阱

看似细节却严重影响外推：

参数计数方式（含/不含 embedding）
Loss 平均方式、精度、四舍五入
架构、LR schedule、batch schedule、数据混合、tokenizer 须保持一致
Besiroglu et al. (2024)：重现 Chinchilla 时发现 Method 3 拟合对异常点敏感，细微处理会导致最优 N/D 偏移
外推本质上脆弱——小拟合误差 → 大预测差异

八、一句话总结

这篇文章全面讲解了 LLM 缩放定律的形式与由来，重点对比 Kaplan(模型优先) vs Chinchilla(均衡 N≈D) 的分歧根源，并扩展到数据重复/受限场景下的修正模型，最后警示 scaling law 拟合与外推在实际操作中的高度敏感性。

如果你对某一部分（比如 Chinchilla 推导过程、重复数据修正公式、或如何自己拟合 scaling law）想深入，我可以单独展开讲。

[SAIR播客]陶哲轩：AI 时代的"证明消化不良"与竞赛新范式

cognitalk — Thu, 02 Jul 2026 05:40:28 +0000

https://www.youtube.com/watch?v=nbZA4N7BDCU
陶哲轩这场演讲的核心内容用大白话说就是这么几件事：

1. 数学界现在遇到了“消化不良”

过去几百年，数学研究的节奏很慢。一个成果出来，要经过同行评审、反复验证、慢慢消化，最后写进教科书。整个过程就像一条顺畅的生产线。

但现在AI来了，它写证明、解难题的速度飞快，像一台高速印刷机，“生产”出来的东西一下子堆满了仓库。但人类评审员根本来不及看，很多AI生成的论文质量又差，这就造成了“证明消化不良”，或者说是学术界的“交通堵塞”。

2. 不能用老路跑新车

陶哲轩打了个比方：AI就像刚发明的汽车，而现在的学术期刊、会议制度，还是几百年前为马车和行人修的“石板路”。车是好车，但路太窄、太乱，人车混行，结果就是谁都动不了。光升级汽车（AI）没用，必须重新修路（改革科研基础设施）。

3. 怎么修新路？搞竞赛！

他的思路是：别把AI和人类放在同一个赛道里竞争，而是给它们分别建“高速公路”和“人行道”。他牵头办的SAIR竞赛，就是两条新路。

他重点介绍了其中两个比赛：

第一个比赛：蒸馏挑战
- 干什么？ 他们之前搞了一个包含2200万个代数判断题的超大题库。顶级AI模型虽然能做对这些题，但耗时耗钱。
- 比什么？ 这次比赛，他们让参赛者给一个很笨的小模型写一份“考试小抄”（一页纸的提示）。谁能让这个小模型用最少的成本，做对这2200万道题里的最多题目，谁就赢。
- 结果？ 目前最好的“小抄”已经把模型的正确率从50%（瞎蒙水平）提高到了80%。
第二个比赛：逆伽罗瓦问题 / “寻蛋大赛”
- 干什么？ 这更像一个大型“集卡游戏”或“寻宝游戏”。他们要寻找一种特殊的多项式（可以想象成不同颜色的“彩蛋”），一共有16万种颜色（对应不同的数学属性）。
- 怎么玩？ 参赛者需要提交自己找到的“彩蛋”。如果你找到一个别人都没找到的稀有颜色，你就得分。目的是用这种“市场竞争”的方式，摸清哪些数学对象是常见的，哪些是极其罕见的。
- 意义？ 以前数学靠推理，不太做实验。现在有了AI和众包，数学也能像自然科学一样做大规模实验了。

完整的要点如下：

📘 全文总标题：陶哲轩｜数学进入 21 世纪：AI 时代的"证明消化不良"与 SAIR 竞赛新范式

第一部分 **数学两百年未变，AI 打破了传统研究生命周期（约 0%–22%）**

1 教科书与黑板的"时间凝固"：陶哲轩开场点题"数学正在进入 21 世纪"。左手一张 200 年前法国教材的图，方程排版数学家一眼能认——两百年来数学的外在形式几乎没变，latex 之类只是小修小补；黑板甚至成了 Jessica Win 拍成咖啡桌书的艺术题材。
2 数学问题的传统生命周期：一个问题从提出 → 证明被逐步生成、被理解、被消化 → 最终进教科书，现在又多了一站：喂给 AI 做训练数据。
3 AI 只加速了前半段：AI 在"证明生成 / 解题 / 部分验证"上跑得很快，但"消化"环节（理解、整理、体系化）没跟上，于是出现陶哲轩说的 proof indigestion（证明消化不良） 或"数学交通堵塞"。
4 瓶颈已在各处显现：期刊被低质量 AI 生成论文淹没，人类审稿资源不够；一些解题网站方案堆积却没人验。结论——传统框架（期刊/会议）扛不住无限制的 AI 使用，继续往旧基建上堆 AI 反而会挤掉人类贡献。

第二部分 **汽车与马路的类比：重写科研基础设施（约 22%–42%）**

1 19 世纪末的汽车隐喻：汽车刚出现时，路上只有 19 世纪那种窄石板路，人车混行、无交规、很乱。后来技术再进步（更快更省油更安全），也解决不了拥堵——因为路不对。
2 数学/科学今天的位置：就相当于那个"汽车跑在石板巷"的阶段。AI 是汽车，期刊会议是老路。
3 出路是分层基建：后来社会分出了汽车专用道、火车道、摩托车道、步行道，还有少量混合道——共存但不互踩。城市也可能"偏袒汽车"，不是完美方案，但比全混在一起强太多。
4 对数学的启示：保留期刊和传统研究流程的价值（"步行道"），同时新建能安全容纳 AI 的轨道——这就是他在 SAIR（Safe AI for Research）在做的事，竞赛是其中一个 venue。

第三部分 **SAIR 竞赛之一：蒸馏挑战（Distillation Challenge）（约 42%–62%）**

1 背景来自"Equation of Theories"项目：两年前陶哲轩做过一个众包实验，用现代工具在代数里生成了 2200 万个 True/False 问题（难度≈研究生一小时一题），最终全部被解决，得到一个庞大的代数数据集。
2 单个问题对 AI 不难，整体结构没人知道：把任意一题丢给 frontier 模型，花 30 分钟几美元算力，99% 能对——但这不告诉你数据集的"特征"是什么，能否浓缩描述？
3 赛题设计：不用贵的前端模型，改用极便宜的开源小模型（裸跑正确率 ≈ 51%，比随机好一点）。比赛让大家提交 一页 cheat sheet（提示页），帮这些"弱 AI"在这 2200 万题的"代数期中考"上拿分。Cheat sheet 人要能读、AI 也要能读。
4 目标：把 2200 万题背后的知识蒸馏到一页纸，提炼数据集的本质。
5 目前进展：最优 cheat sheet 已把弱模型正确率从 50% 拉到 80% 左右，提升 20–30 个百分点。下一阶段（仍在进行）要让弱模型不只答对错，还能写出证明和详细解释——难得多。
6 一页纸长什么样：幻灯片上那张 cheat sheet 看着密，但确实编码了大量关于这类问题的信息（受一页限制，形式紧凑）。

注：陶哲轩说时间紧，跳过了第二个竞赛没讲，直接讲第三个。

第四部分 **SAIR 竞赛之三：逆伽罗瓦问题 / LMFDB "复活节寻蛋"（约 62%–85%）**

1 合作方与数据库：与 LMFDB（L 函数与模形式数据库） 合作，LMFDB 是数论、密码学等领域核心数学对象的大库。

2 问题通俗化：集换式卡/复活节寻蛋：要找的是 22–24 次多项式（"蛋"），每个多项式有个属性叫 Galois 群（"颜色"）。一共约 16 万种颜色，目标是每种颜色至少收集到一个多项式——即"逆伽罗瓦问题"的一个实验版：是否每种 Galois 群都可达？这是伽罗瓦理论大 open question。

3 验证极便宜：输入 24 个整数就是一道多项式，现代软件秒算它的 Galois 群"颜色"——所以单人提交、官方验证，成本很低。

4 两阶段赛制：

竞争阶段（正在进行）：队伍提交多项式，不公开自己的"蛋库"；某种颜色如果是某队独家首次提交 → 独得 1 分；多队撞色 → 按较复杂公式分摊分数。目的：用"市场力量"倒逼大家去找最难的颜色（稀有蛋），而哪些难哪些易事先并不知道，要靠竞赛揭出来。
合作阶段（还没开）：竞争结束后转合作，共享数据。

5 为什么这事传统数学做不了：数学一向不是实验科学，没多少 empirical data 可看"哪些 Galois 群稀有哪些常见"——AI + 众包 + 大规模计算第一次让实验性研究数学对象成为可能。

6 赛况与社区反响：

进度图显示有些队明显重度用 AI，暂时领先，但领先不稳——别人若复现同色就能"抢分"，榜单位置会波动（三天前的图已经不单调了，有逆袭）。
代数方向的数学会议里大家都在聊这个赛，有人组私队，挺兴奋。
陶哲轩特意点：这和传统数学家"饭碗"是正交的，不是 AI 来抢活，而是开辟新能力——就像"人走路的道"和"AI 跑的道"分开，各有各的竞赛形态。

第五部分 **扩展示望：从数学走向更广的科学竞赛（约 85%–100%）**

1 当前规模小：三个竞赛跑在极小预算上，就几个工程师 + 一些算力。
2 想放大：未来希望做更大规模、更高算力、带高规格奖金的竞赛；目前全在数学领域，因为数学"提交可验证、打分容易"是最干净的试验田。
3 原则上可推广到其他科学：只要有"大家想采集的大数据集"+ 能众包做的任务，就可以谈合作设赛。SAIR 近期准备发 formal call for proposals，内部还在通过董事会邮件讨论怎么搞最好。
4 收尾：陶哲轩说下次会再汇报这几个赛的后续，谢幕。

Atlas Wang 对谈：符号 AI 与神经网络以及金融高频交易的 AI 化

cognitalk — Mon, 29 Jun 2026 08:27:23 +0000

https://www.youtube.com/watch?v=mq3QkSfrkPk

1.大白话谈播客内容说了啥

播客里那些比较专业的内容，用大白话给你捋一遍。主要讲了三件事：

第一件：现在的AI大会到底变成啥样了？

人特别杂：以前是学者交流的地方，现在挤满了投资人、猎头、销售。你随便拉个人聊天，对方可能根本不是搞研究的，而是来挖项目或者找人才的。
好玩的在边角料：主会场有时候挺无聊，真正有意思的新点子往往藏在各种小型的“研讨会”（Workshop）里。那里人少，但聊的都是最前沿、还没成型的东西，氛围纯粹。
大佬也来摆摊：像嘉宾Atlas，他既当教授又在一家叫XTX的金融公司当高管。开会时他一边要带学生展示论文，一边还得在公司展台当两天“销售”招人，忙得脚不沾地。

第二件：嘉宾自己的核心研究——“逼”AI说出人话

这是对话的重点。Atlas的核心思想是：现在的AI像个黑盒子，虽然厉害但说不清自己怎么想的。他想让AI学会用简单的公式或规则来表达自己的结论。

为什么要这么做？
- 为了快：比如让AI控制网络拥堵，如果用神经网络来做，反应慢。但把它“翻译”成一个简单的决策树（像流程图一样），速度能快几百倍。
- 为了让人看懂：比如让AI玩游戏，它学会了判断。但它是靠什么判断的？是看到了红色方块还是听到了声音？如果能把它学到的规则提炼成“看到红色方块就向左转”这样的符号逻辑，我们就懂了。
他做了什么？
1. 理论突破：他和学生从数学上证明了一个事儿——AI在学习过程中，确实有能力自己找到背后那个最简单的规律。比如，物理学家发现万有引力公式是 ( F = G \frac{m_1 m_2}{r^2} )，这个公式非常简洁优美。Atlas证明，理论上AI也能通过“试错学习”（梯度下降）找到类似的简洁公式，而不是给出一个复杂到没人看得懂的近似函数。
2. 现实困境：不过，目前这个证明还停留在“理论上存在这种可能性”的阶段，就像我们知道彩票大奖肯定存在，但暂时还没法保证每次都能精准刮到。要把这个理论变成一个好用的工具，还需要很长时间。

第三件：AI在金融领域（特别是高频交易）怎么用？

Atlas现在工作的XTX就是一家做高频交易的顶级公司。

他们在干什么？
- 核心任务就是预测股价。但不是预测明天涨跌，而是预测未来几毫秒甚至几纳秒的价格变化。他们需要分析海量的实时交易数据（价格、成交量等），从中找出微弱的信号。
难点在哪？
- 全是噪音：金融市场极其混乱，99.99%的数据都是随机波动。他们的工作就是在垃圾堆里找金子，把预测准确率从50%（猜大小）提升到50.01%。别看只多了0.01%，因为交易量巨大，这微小的优势就能带来惊人的利润。
为什么AI适合干这个？
- 传统方法不行了：过去用简单的数学模型（线性回归）就够了，但现在市场竞争激烈，必须用更先进的AI技术来捕捉更复杂的模式。
- 门槛极高：不像聊天机器人可以用网上公开的数据训练，高频交易用的数据是独家的、私有的，外面根本拿不到。这就形成了很强的技术壁垒。Atlas也说，金融行业可能是最后一批被AI完全攻克的堡垒之一，因为它的数据和经验积累太深厚了。

总结一下

这场对话的核心观点就是：AI的未来不只是把模型越做越大，更要让它变得可解释、有效率。 嘉宾一方面在理论上探索如何让AI学会用简洁的符号（如公式）思考，另一方面又在实践中，把AI用在了对速度和精度要求极高的金融交易里，并认为这个领域对AI研究者来说是一片充满机遇的蓝海。

2.播客里哪里聊了"符号神经网络 / Neuro-symbolic AI"

播客里聊"符号神经网络 / Neuro-symbolic AI"主要集中在 第（三）部分（约全文 22%–52% 那一段），也就是 Atlas 讲自己研究主线那段，核心是从"低维压缩"滑到"把 NN 压成符号"的那条线。具体节点给你标一下：

📍 入口：Alan 追问"符号 NN 到底是什么、为什么要 care"

Atlas 刚提完他那篇 theory paper（NN 用梯度下降可证明学符号方程），Alan 拦了一下让回退一步：

"What does it mean actually like symbolic neural network, how you actually look why we need to care about it?"

Atlas 的回答是整个符号线的大框架——逻辑、规则、关联关系本来就能用符号写；他眼里的"终极压缩"不是把 NN 蒸馏成更小的 NN（pruning / low-rank / MoE 那种 10x–100x），而是把 NN 压成非 NN 的形式，能写进教科书的人可读知识。这一段是整段符号论的"总纲"。

📍 关联规则 / Apriori 怀旧（Alan 接话）

Alan 说自己入门 ML 就是啃 Apriori 和关联规则挖掘，还举了 Target 孕期预测那个经典（apocryphal）故事。这里其实是 symbolic AI 的老祖宗方向被顺带捞出来对照——现在 NN 时代把无监督/聚类/降维贬低了，但 SAM（Segment Anything）那种"图像自动按语义切"本质上还是当年那条路的延伸。Atlas 接了一句"关联记忆（associative memory）每天都在用"，算是点头认了这条血脉。

📍 实用动机两段（Atlas 自述做符号的"功利心"）

Alan 问"practically 你想干嘛"，Atlas 给了两个落地：

效率：把 RL 控网络拥塞转成决策树，CPU 上 400–500× 加速——比任何 NN 压缩都狠。
可解释性：Open Gym 简单视觉环境里，把 CNN-based RL 转成符号树，自动把色块 grounding 成物体再用逻辑算子组合，类似"中间层视觉"的自动分割。Atlas 自己承认复杂场景 scaling 不行（只在 Minecraft 类简单环境玩过）。

这两段是 symbolic NN 的"实证分支"——NN → 符号树/决策树，能跑能解释。

📍 理论那段（整集最"硬"的一块）

牛顿第二定律 1/r² 的例子：如果牛顿今天拿 NN 去 fit 引力数据，NN 大概率吐不出干净的 1/r²，只会给个 messy 近似——因为 NN 的归纳偏置里没有"学干净紧凑方程"这一项。这是为什么需要符号学习的motivation 例子。
他们做的理论：合成数据学多项式，假设数据生成过程带代数结构（群、环），用梯度流的测度空间分析，证出梯度下降确实能让 NN 精确收敛到 underlying 符号结构——连续动态够到离散目标。
Caveat：Atlas 自己坦白，目前是存在性证明不是构造性证明——类比 lottery ticket（知道初始化某处存在那张票，但不知道怎么直接拎出来）。离"不经 over-parameterized 训练直接拿到符号方程"这个 holy grail 还有距离。

📍 后面还有两段"广义 neuro-symbolic"的延伸，不算核心但有关

Alan 举的偏方：让 LLM 自己生成 anti-spam 的 if-else 规则决策树，极便宜可解释。Atlas 评：这本质是把信仰压在 model alignment 上，但让 LLM 产符号、再接 domain 的 symbolic checker（比如合规校验 → DPO 反馈循环），广义上也算 neuro-symbolic，他们组也做过。
JEPA / world model 那段 Rabbit 问的时候，Atlas 提了一句"JEPA + MPC 那套漂亮，和 Koopman operator 也深连"——Koopman 那条本质是把非线性动态映射到线性符号空间，也算符号谱系里的亲戚，但 Atlas 没展开，只说 JEPA 不是万能解。

所以严格意义上的"符号神经网络"主菜就是 第（三）部分那段从 Alan 追问定义 → 实用两段 → 牛顿例子 → 理论证明 → caveats，大概占全文近三分之一。后面 LLM 自产规则 + JEPA 是边角延伸，如果想抠"NN 怎么学到离散符号结构"这一脉，主菜那段就够了。

3. XTX Markets 这家公司的起源与发展历史

XTX Markets 这家公司挺有意思的——它是 2015 年才从 GSA Capital 分拆出来的"青年军"，但现在已经做到外汇做市全球前三、英国纳税第一名，而且全程没拿外部投资，靠的全是自研算法。下面把它的来龙去脉给你串一下。

🧑🎓 创始人：Alex Gerko，俄裔数学博士

莫斯科国立大学数学博士，原本打算走学术路线，但自觉成不了"世界级知识分子"，转去工业界。
先到伦敦 德意志银行 做量化，后来跳槽 GSA Capital（一家从德银分拆出来的英国量化对冲基金），在 GSA 一手搭起了外汇交易部门，再扩展到别的资产类别。
但他更愿意把交易利润 reinvest 回业务，而不是分给外部投资人——这和 GSA 的利益不一致，于是谈分拆。

🏗️ 2015：XTX 诞生

2015 年 1 月 30 日 在伦敦注册成立，团队就是从 GSA 带出来的一小撮交易员加一点启动资金，是 GSA 的 spin-off。
名字 XTX 取自线性回归里的符号（XᵀX，没错就是那个矩阵转置乘矩阵），数学味拉满，也很符合创始人的博士审美。
联合 CEO 是 Zar Amrolia（前德意志银行外汇主管），和 Gerko 搭班子。

📈 成长路径：从外汇做市切银行的蛋糕

XTX 做的事叫 non-bank liquidity provider / 电子做市商——简单说就是不靠银行柜台，用算法在外汇、股票、债券这些市场挂买卖单，吃价差（spread），同时给市场提供流动性。

2016：Euromoney 全球外汇流动性提供商榜单 第 9 名，市场份额 3.87%——这是历史上第一次非银行机构挤进前十。
2018：冲到 全球第 3，非银第一，把一堆老牌投行（花旗、摩根大通、瑞银这些）都超了。
切的是什么蛋糕？传统外汇场外交易是伦敦金融城那些大投行交易台主导的，"知道该打给谁"很重要；XTX 用算法+机器学习把这块"关系型生意"变成了"预测型生意"，银行的人海战术打不过它的延时和模型。

🌐 业务扩张：从 FX 到全覆盖

最早只做外汇 OTC，后来一路往外扩：

外汇（基本盘，全球 Top 3）
股票 / 固收 / 商品 / 加密——现在官网说自己覆盖 5 万+ 金融工具，每日交易量约 1120 亿美元（第三方媒体口径更高，说 2500 亿）
Atlas Wang 那条线（UT Austin 教授 + XTX 研究总监）就是这时候进的——公司要从"外汇做市"升级到"多资产时序基础模型"，所以需要搞大模型的人。

💰 几个"出圈"的数据点

人员极精简：大约 250 名员工跑 2500 亿日均交易量，不雇传统交易员，全员算法+研究+开发。
Gerko 持股 75%，无外部投资人，利润归合伙人间分，所以滚雪球极快。
AI 基建狠：研究集群 11,000 张 GPU、309 PB 存储；2025 年宣布在 芬兰砸 10 亿美元自建数据中心（不是租，是自己盖 5 座里的第一座），因为算力就是它的生产资料。
2025 年营业利润 23 亿美元，Gerko 个人交了 6.6 亿英镑所得税，英国纳税王。
慈善：2020 起承诺捐 2.5 亿英镑，重点砸数学教育（资助低收入背景学生读数学/PhD、加速突破研究），和他自己的背景呼应。

🇷🇺➡️🇬🇧 一些八卦

Gerko 俄裔，但已放弃俄罗斯公民身份，给乌克兰捐了几千万英镑——俄乌战争后这个立场在俄裔金融圈里挺显眼。
公司总部伦敦，办公室挂阿波罗 11 号复刻模型，Gerko 个人审美偏"硬核理工浪漫"。
和 Citadel Securities、Jump Trading 这类美国非银做市商并列，但 XTX 的特点是更偏欧洲根基 + 更重机器学习预测而不是纯速度军备竞赛——这也是为什么 Atlas 那期播客里他说"我们不做那种比谁光纤短的 game，我们比的是预测准不准"。

4.播客的完整内容要点

根据这期《Information Bottleneck》播客 EP19（嘉宾 Atlas Wang，UT Austin 教授 / XTX 研究总监）的文字稿，按话题流转与 token 占比（粗略估算时间百分比）切分如下，并附整文总标题。

整文总标题

「EP19｜Atlas Wang 对谈：NeurIPS 现场观察、符号 AI 与神经网络可证明学方程，以及金融高频交易的 AI 化」

第（一）部分　开场寒暄与嘉宾介绍（约 0% – 4%）

1 嘉宾身份与互相调侃：Rabbit 和 Alan 介绍本期嘉宾 Atlas Wang——UT Austin 教职、XTX 研究总监、常住纽约，也是两人好友。Atlas 开玩笑回应“special guest”到底特殊在哪：UT 教职 / XTX 研究总监 / 好友 / 住纽约，四人笑称“mostly 是好友”。
2 纽约冷天与线下聚首：Alan 补一句很高兴和两位在同一个城市（纽约），一起在极冷的天气里“瑟瑟发抖”，顺便提到上次 NeurIPS 只简短聊过，这次借播客把对那场会议的看法合一下。

第（二）部分　NeurIPS San Diego 参会体验与会议生态观察（约 4% – 22%）

1 Atlas 的双身份参会视角：Atlas 以“学术 + 工业”双重帽子参会——带学生去投海报，同时 XTX 是铂金赞助商，他在展台站了两天见人。感觉比纯学术累，但圣地亚哥的暖气和“生成式 AI × 金融”的热度都让他印象深刻。
2 Alan 的三个观感：① 高兴看到不少 LLM sampling 研究（自己公司 Thoughtworks 在做 sampling lab，想挖人）；② 狂吐槽官方 App Hoova 做得烂，功能远不如 NeurIPS 2024，导致他反而被迫多线下问路、看电子屏，体验倒退；③ 圣地亚哥很美，加州人意外地松弛，workshop 质量不错，人多总体是好事，只要不稀释投稿质量。
3 NeurIPS 非研究者比例更高的现象：Alan 指出 NeurIPS 比 ICLR 更吸引非研究者，“随便抓一个人有 paper 的概率更低”，有时想跟 researcher 吃饭却被 VC 包围。Atlas 接话：自己其实不讨厌——XTX 本身有 VC 团队，而且他纽约飞圣地亚哥的航班上邻座就是 VC，对方能报出 Atlas 好几篇 paper 标题，学生都不一定记得住，Atlas 表示受宠若惊。
4 VC 读 paper 的动机：VC 每天刷 archive / Google Scholar 是为了在“好钱坏钱”里做判别，难度不亚于审稿人选 paper，所以 Atlas 对“更广的圈子在读我们 paper”这件事反而没那么 sarcastic。
5 会议性质的混合与 workshop 的价值：三人讨论“会议到底该是什么”——传统是 peer 交流，现在混了招聘、VC 扫人、公司品牌。Atlas 个人把 NeurIPS 当“一次性低成本见朋友”的旅行，学术上新作基本会前 6 个月就知道了。他更偏好 workshop：main conf 利益绑定太多（作者/审稿人互 pressure），workshop 更纯，敢放 half-baked 的前沿想法。
6 workshop 的“旱涝不均”：Alan 举去年 Yosua Bengio 组织的 Pluralism & Creativity workshop（还请了《Arrival》作者 Ted Chiang），房间塞了 700-800 人消防局得来管；但他自己去的 stochastic sampling workshop（P@k 解码相关，min-p 后续）满打满算 50 人。同是 workshop，流量天差地别。
7 小房间≠低回报：Atlas 补自己今年也 co-organize 了“生成式 AI for Finance”workshop，同样爆满；但他更珍惜优化 workshop 那种“15 个人全懂你工作”的小房间——signal-to-noise 才是关键。他也顺带提了自己今年在组织这一方向。

第（三）部分　Atlas 的研究主线：从低维压缩到符号 AI（约 22% – 52%）

1 PhD 背景与“低维”情结：Atlas PhD 做统计/信号处理/优化，第一个方向是 compressive sensing，后来做低秩、流形，再后来发现大家全跑去 deep neural network 了只好跟进，但惊喜地发现 over-parameterized NN 里反而有更多机会实践低维理解——pruning、lottery ticket、低秩、MoE 都是例子。
2 最近一年最喜欢的 paper（偏理论）：标题大概是“NN 如何被梯度下降可证明地学习到符号方程”。现有深度学习理论大多证梯度动态会把 NN 推向稀疏/低秩/低熵这类结构化解，但从连续动态到“离散符号结构学习”的 gap 一直没 closing。
3 为什么关心“符号化”：Alan 帮听众追问——符号 NN 到底是什么、为什么要 care。Atlas 答：逻辑、规则、关联关系本就可以用符号写；他眼里的“终极压缩”不是把 NN 蒸馏成更小的 NN（low-rank / sparse / pruning 顶多压 10x–100x），而是把 NN 压成非 NN 的形式——可写在教科书上的人类药物知识，那才是最优压缩。人类可读的符号语言 = 最终形态。
4 关联规则挖掘的怀旧：Alan 接话提到自己入门 ML 就是 Apriori 和关联规则挖掘，Target 孕期预测那个经典（apocryphal）故事，觉得“降维/无监督/聚类”被 NN 时代不公平地贬低了。举 SAM（Segment Anything）为例——理想的图像聚类就该像 SAM 那样把图按语义切。人类婴儿早期基本是 unsupervised（苹果≠玻璃杯），Alan 家一岁娃天天在验证这点。
5 Atlas 的“实用 → 理论”回答：先讲实用动机——

效率：把 RL 控网络拥塞转成决策树，CPU 上直接 400–500× 加速，比任何 NN 压缩算法都狠；
可解释性：在 Open Gym 简单视觉环境里把 CNN-based RL 转成符号树，自动把色块 grounding 成物体再做逻辑组合，类似“中间层视觉”的自动分割。Atlas 承认这玩意复杂视觉场景 scaling 不好（只在 Minecraft 类简单环境玩过），但证明了 NN 学的其实是“感知模块 + 可组合逻辑”。 6 同行工作：Flatiron、剑桥的 Milk 组也在做符号回归，大家方向一致。 7 理论部分的动机——牛顿第二定律的例子：Atlas 用高中时的疑问类比：为什么引力是 1/r² 不是 1/r^{2.015}？物理 PhD 可以从积分推出，但如果牛顿今天拿 NN 去 fit，NN 大概率吐不出干净简洁的 1/r²，只会给个 messy 的近似——因为 NN 的归纳偏置里没有“学干净紧凑方程”这一项，而“干净”本身又是很强的人类先验。 8 他们做的理论工作：从合成数据学多项式起步，假设数据生成过程带代数结构（群、环），用梯度流的测度空间分析等工具，证出梯度下降确实能让 NN 精确收敛到 underlying 的符号结构——连续动态够到离散目标，这件事 Atlas 自己很兴奋。 9 理论的 caveats：Alan 追问后 Atlas 坦白——目前是存在性证明，不是构造性证明（类比 lottery ticket：知道初始化的某处存在那张票，但不知道怎么直接拎出来）。离“不经过 over-parameterized 训练直接拿到符号方程”这个 holy grail 还有距离。

第（四）部分　推理、数据、架构收敛的延伸讨论（约 52% – 65%）

1 Reasoning / CoT 是不是必经之路：Rabbit 追问——chain-of-thought / reasoning model 这一类，长期看是 essential 还是只是当前局部最优？Atlas 答得松：不确定 RL-style reasoning 在“数据足够好”的前提下是不是必须。所有算法都是在高维数据空间里 search，架构/优化只是给一个好的 inductive bias 让 search 起点暖一点；如果目标分布采样够好，纯随机 search 也许也能到。他在 XTX 做大模型训练后，信念从“精雕算法”往“问题设定 + 数据分布”挪了——后者带来的性能提升更猛。
2 Alan 举的“让 LLM 自己生成 anti-spam 决策树”的偏方：prompt 模型产出关键词/if-else 式规则，得到可解释极便宜的分类器，效果不差。问 Atlas 怎么看。Atlas 答：这本质是把信仰压在 model alignment 质量上——让 LLM 自己产符号，广义上也算 neuro-symbolic AI（语言本身是符号，可接 domain 的 symbolic checker）。他们组也做过让 LLM 提 plan → 送合规 checker → DPO 反馈循环的方向。
3 JEPA / world model 插曲：Rabbit 问 JEPA（Yann LeCun 那条线）和“内部状态随时间演化”是不是也算某种符号模型的近亲。Atlas 说 JAPA（应为 JEPA）那套 MPC + JEPA 表示结合很漂亮，和 Koopman operator（他感兴趣的 NN 动态方向）也深连，但不觉得 JEPA 是 deep learning 所有问题的通用解——每算法都得 assume 点什么，“所有模型都错，有些有用”，JEPA 属于 useful 那一档。
4 架构会不会收敛：Rabbit 再问——是不是“数据够好一切算法都会收敛到同类解”。Atlas 答 yes and no：NN 是 universal approximator 90 年代就知道了，但后面 30 年还是出了 ResNet、Transformer、Fast RNN（刚得 test of time award）——理论上能学到 ≠ 实验上能训出来，优化稳定性、超参、架构对 DDP/FSDP 的友好度这些“彩票式设计选择”在过去 DL 进展里占比不成比例。所以他做研究（尤其工业侧）不再宗教化“算法对错”，只看“当前生态下合不合适”。

第（五）部分　合成数据、金融（高频交易）场景落地（约 65% – 82%）

1 Alex Dimakis 那篇“少问题多答案更好”的梗：Rabbit 提到 Berkeley 的 Alex Dimakis 观察到——标 1 万道题每道 1 答，vs 500 道题每道 2 答，后者训出来更好，mix of question-info / answer-info 的相互作用很怪。Atlas 说第一次听这个具体例子但能 buy——联想到 Dimakis 另一篇“只用 1 道题做 RL 让模型换不同方式反复解、自我改进”的 paper，挺 inspire。
2 高中刷题的类比：Atlas 拿自己高中数学老师的话类比——老师不让狂刷不同题，让盯一本选集同一道题反复做、做出比标准答案更好的解法。“反复嚼一道题”比“尝一口就换菜”榨出的信息价值更高，所以“深 > 广”在某些 regime 成立。
3 合成数据是少数领域的奢侈品：Atlas 框定——语言/视觉/语音（他不搞语音）才有，因为这些域判别式模型先走通了（ImageNet 最初不是为生成建的，LiDAR 最初为 caption，都不是生成），攒够了高质量判别数据，才能走到生成、才能谈合成数据。而高频交易是他现在待的“非常不幸的域”——生成模型还生成不了真实股票市场，谁搞出来可以找他聊。
4 高频交易的问题定义：最典型 entry-level quant 题是多时序预测——输入交易所 tick 级价/量/成交/元数据，多股票联合，预测未来一小段 horizon 的价或方向。y = f(x)，古典定义。
5 难在哪：数据不缺（交易所每秒 tick 涌过来），缺的是高质量信号——不是机械/传输错误，是市场本身噪声主导，“预测噪声里的噪声”，散户想 beat 市场极难（S&P 是强风险中性基线）。quant 拼的是把准确率做到“略高于零”，但高频每天/每年交易量天文数字，大数定律把微小 margin 放大成真金白银——这就是他们干的。
6 多主体博弈：Rabbit 问是不是因为“即使信息全也不 deterministic”。Atlas 确认——市场是多主体博弈，analytical solution 不可能；高频因为 horizon 短，理论上“别人来不及 plot against 你”，但近几年也未必了，细节不多谈。
7 生成式 AI 进金融的真实趋势：Alan 补——金融圈过去模型保守（线性回归/Lasso/树），现在确实在往 ML 前沿靠。XTX 这类已经吃到生成式 AI 红利，所以趋势真。不同金融细分用法不同：有的用 LLM 自动化 workflow，有的用 foundation model 爬社媒做 sentiment（alternative data），XTX 这种是自己建时序基础模型——不是符号语言 FM，是数值连续流时序 FM。
8 “说服金融人只能靠年化收益，不能靠 paper”：Atlas 点透——这点和 tech 不一样，金融动态滞后于 tech 平滑，但已经有成功案例（年化跑出来），所以会继续投，部分会成。

第（六）部分　招聘画像、AI 研究建议与收尾（约 82% – 100%）

1 Quant 招聘画像的变化：过去经典画像 = 数学/物理 PhD。现在 frontier 金融 AI 公司（他造的词）的 hiring bar 越来越对齐 frontier AI lab——候选人池里天天有人拿着 OpenAI / Gemini offer 来面。但金融侧还剩一个独特偏好：数学+统计底子，比如“抛 1000 次硬币”类问题还是会考，因为时序数据太噪，从 clean 语言 FM 桥到 noisy 非结构时序，中间很多数学变换要做。
2 “会写代码的数家，或会说数学的工程师”：这是他们组（原话是团队 slogan 不是他原创）的 motto，两句话说的是一个意思。
3 学位焦虑插曲：Rabbit 扯到“AI 会写代码了，将来还要不要学线性代数/微积分”——他自己仍信过去 30 年“越 mathy 越好”是对的，但纯 AI/ML 研究未来是不是还这样不确定。Alan 抖机灵“赶紧去考水管工执照”，因为蓝领体力活比很多工种抗 AGI 时间长——引战到 munition 替代士兵比水管工容易。Atlas 补一句：金融也属于“公开模型难渗透私有数据积累”的域，几十年私有数据战争 public knowledge 盖不住，这也是金融 AI 的护城河。
4 Gemini / GPT / DeepSeek 拿真钱账户交易两个月比赛怎么看：Alan 问，Atlas 答“我不会放自己钱进去”，笑过。
5 Atlas 为什么选 XTX 不选 LM foundation lab：他自认聪明人，进 LM lab 有人带也能学会 pre/post-training；但进 XTX 是“全世界可能几十个人知道怎么把这事做起来”的位置——独特数据 + 充足 GPU + 人才密度，他喜欢研究路径的 uniqueness。劝新 grad 认真看金融 AI 这条线：① 已经有人证了能赚钱，所以 AI 在金融的爆炸会来；② 给钱“reasonably or unreasonably well”；③ 相比 tech 可能 work-life balance 还好点。
6 WLB 尾巴：Rabbit 说以后可以单聊 WLB，有些公司真懂有些灾难，但年轻人被文化推着卷 20 小时/天也不一定出更好结果。Atlas 看他毕业 PhD 的小样本——有人活得开心有人社交蒸发，vesting schedule 祝大家好运。
7 收尾：互谢，Atlas 说聊完反而 energized，会把那篇符号 paper 甩他们。bye。片尾有段乱入的 “Hey Heat” 应该是录音室彩蛋/切错轨，忽略。

[IBM-Tech] 提示词恶意软件杀伤链（The Promptware Kill Chain）剖析

cognitalk — Mon, 29 Jun 2026 02:38:57 +0000

https://www.youtube.com/watch?v=K68sqG18270&t=1s
这视频主要讲述了 IBM 杰出工程师 Jeff Crume 介绍的一种新型安全威胁：提示词恶意软件杀伤链（The Promptware Kill Chain）。

传统的恶意软件（如勒索软件、间谍软件）通常是恶意代码，而 Promptware 则是一种全新的恶意软件执行模型，它是通过向生成式 AI 聊天机器人或智能体（Agent）输入恶意的“提示词”来驱动的。视频中引述了 Bruce Schneier 等人的研究，将这种攻击提炼为了一个完整的、步步渗透的“杀伤链”：

🛡️ Promptware 杀伤链的 7 个阶段

初始访问（Initial Access） [00:00:57]
直接注入：攻击者直接在对话框向 AI 输入指令，改变其上下文（例如让它开始说假话）。
间接注入：攻击者将恶意指令藏在网页、邮件、日历邀请甚至图片中。当 AI 被派去读取这些内容时，就会被暗中控制。
根本缺陷：传统计算机代码和数据是分离的；但大语言模型没有这个边界，所有内容都被视为 Token，导致恶意指令可能获得与系统命令同等的权威。
权限提升 / 越狱（Privilege Escalation / Jailbreaking） [00:02:46]
攻击者利用社会工程学、角色扮演或对抗性提示词，诱骗 AI 绕过安全对齐限制。由于 AI 模仿人类智能，它也继承了人类“轻信”的弱点（例如，直接问怎么做炸弹会被拒绝，但伪装成化学系学生问“哪些东西不能混在一起免得爆炸”，AI 就可能中招）。
侦察（Reconnaissance） [00:04:18]
与传统网络攻击先侦察后下手不同，Promptware 往往在“越狱成功”后才进行侦察。AI 会被操控去主动暴露自己的攻击面，透露自己连接了哪些 API、插件、系统以及拥有什么权限。
持久化（Persistence） [00:05:03]
正常的对话是即时且短暂的，但现在的 AI Agent 拥有长期记忆（如 RAG 数据库、聊天记录、日历等）。攻击者一旦将恶意提示词植入到这些长期存储中，AI 每次读取这些数据时都会“自我重新感染”，从而达到持久控制的目的。
命令与控制（Command & Control / C2） [00:05:59]
攻击者可以利用 AI 的联网功能作为 C2 通道。这让 Promptware 从死板的威胁变成了可远程控制的动态威胁（例如，AI 连网获取外部内容时，顺便带回了攻击者更新的恶意指令）。
横向移动（Lateral Movement） [00:06:53]
当人们赋予 AI Agent 读写邮件、修改日历、访问企业系统甚至控制智能家居的权限时，也就等于为恶意软件修好了高速公路。受感染的邮件 Agent 可能会像传统的电脑病毒一样，把带有恶意注入的代码自动转发给所有联系人，实现自我复制和扩散。
实际破坏（Action on Objective） [00:08:10]
这是攻击者的终极目的，表现形式与传统恶意软件无异，包括：数据窃取、金融欺诈（如转走加密货币）、或者在 AI 拥有代码执行权限时运行任意恶意代码。

🛑 我们该如何应对？

Jeff Crume 强调，提示词注入在架构上是无法根除的，这不是厂商发个补丁就能修好的小漏洞。

因此，我们必须采用 零信任（Zero Trust） 的架构和思维方式：

假定突破已发生：默认坏人已经进入了系统。
打破杀伤链：在杀伤链的每一个环节进行防御。不要将 AI Agent 视为“值得信任的助手”，而要将其视为“不可信的、带有敌意的运行环境”。
具体手段：严格限制权限提升、约束工具和 API 的访问权限、检测持久化存储中的异常、限制 AI 的高危行为。

从SGLang、vLLM的异同推演未来AI演化

cognitalk — Fri, 26 Jun 2026 10:40:00 +0000

i SGLang vs vLLM 2026–2027 发展规划：异同完整对比

一、两大框架共同长期目标（相同点）

两者底层大方向高度趋同，都是面向超大规模生产推理、统一硬件生态、统一分布式架构：

1. 分布式架构统一路线：PD分离（Prefill-Decode Disaggregation）

都将PD分离作为集群规模化核心方案，拆分Prefill池、Decode池独立扩缩容，解决大流量长上下文瓶颈
打通跨节点KV缓存迁移、外部分布式KV缓存（Mooncake/PegaFlow/HiCache）
对齐MoE弹性并行EP、TP/PP流水线并行、Chunked Prefill超长上下文优化路线 ### 2. 投机解码统一投入：EAGLE全栈深度优化
长期主推EAGLE作为默认推测解码，持续迭代低延迟、高接受率版本
统一目标：消除CPU-GPU同步气泡、与KV缓存调度深度联动，适配CoT/Agent思考场景
同步兼容Medusa、N-gram、小模型Draft等备选方案 ### 3. 硬件全栈兼容路线一致
下一代NVIDIA Blackwell（GB200/GB300/B300）内核深度优化，NVFP4/FP8统一量化标准
持续完善AMD MI300/MI350、昇腾、Intel XPU、Google TPU多硬件后端
统一支持CPU卸载KV缓存、混合内存HMA、低精度量化（AWQ/GPTQ/SVDQuant/TurboQuant） ### 4. 模型生态：Day-0 新模型极速适配
新发布主流LLM/VLM/MoE（Llama4、Qwen3、DeepSeek V4、Gemma4、GLM5）做到发布当日支持
兼容Transformers兜底加载，降低自定义模型接入成本 ### 5. 统一生产能力底座
原生OpenAI兼容API、gRPC高吞吐服务、动态LoRA热加载、模型权重热更
完善监控、性能Profiling、弹性扩缩容、容器/K8s云原生部署方案
安全加固：端口鉴权、模型加载沙箱、输入过滤、远程代码执行防护 ### 6. 多模态统一方向
同步推进文生图/视频扩散模型、TTS、多模态Omni模型流水线推理
统一CacheDiT、提示词Embedding缓存、多模态KV缓存复用优化

二、核心路线差异（根本定位不同，规划完全分化）

（一）底层架构定位差异（决定所有后续规划）

vLLM：通用高性能推理执行引擎，广度优先

核心定位：通用、普惠、全场景兼容的底层推理Runtime，不侵入上层业务逻辑，主打最大生态覆盖、异构硬件、通用批量服务

SGLang：DSL+Runtime一体化系统，深度优先

核心定位：面向复杂Agent/结构化业务的可编程推理系统，前端SGL DSL语言+后端运行时协同设计，主打多轮对话、工具调用、结构化输出、RL训练推理一体化

（二）分维度未来规划详细对比

1. KV缓存长期演进路线（最核心分水岭）

vLLM 路线：PagedAttention持续迭代，通用内存均衡

持续优化分页式KV缓存，减少内存碎片，适配随机、无共享前缀的混合请求（短对话+长文档+独立单轮请求）
短期：Prefill Cache、跨节点KV迁移、CPU内存卸载；长期：分层分页缓存、动态块粒度
短板：共享前缀复用能力弱，不专门针对高频多轮Agent做深度优化 #### SGLang 路线：RadixAttention基数树为核心，极致前缀复用
RadixAttention永久作为底层KV底座，持续迭代RadixArk缓存系统，持久化多轮会话上下文
长期规划：跨服务全局共享KV缓存、Agent会话持久化、自动前缀合并淘汰
目标：Agent/RAG多轮场景吞吐相比vLLM长期保持40%~70%领先，这是SGLang不可替代的护城河

2. 结构化输出 / Agent 工作流规划

vLLM：仅做基础支持，不深度深耕

仅集成Outlines实现JSON/正则约束，无专属底层优化；结构化生成不作为核心赛道
Agent能力依赖第三方框架（LangChain、LlamaIndex），框架本身不内置流程控制 #### SGLang：结构化与Agent是第一优先级赛道
XGrammar 2持续迭代，压缩FSM并行解码，JSON/Schema生成速度长期拉开数倍差距
完善SGL DSL：原生支持循环、分支、工具调用、多模型并行、动态Prompt拼接
长期目标：把复杂Agent逻辑全部下沉到推理引擎层，减少业务侧代码开销，实现“推理即Agent运行时”

3. RL训练+推理一体化路线（巨大分化）

vLLM：推理为主，RL为辅，依赖外部工具链

RL仅提供轻量配套VeRL-Omni，定位辅助功能，不做深度融合
训练、推理完全解耦，无原生权重热更、引擎休眠、PD分离训练流水线
不主打后训练场景，适合纯线上推理服务 #### SGLang：推理+RL训练双一等公民（核心差异化路线）
官方长期重点投入PD分离训练推理流水线、分布式RL集群
原生支持动态权重热更新、引擎休眠唤醒、生成暂停续跑、确定性训练
适配大规模RLHF、DPO、GRPO，已落地GLM、DeepSeek系列大模型后训练，未来持续强化训练一体化能力

4. 多模态&扩散模型发展策略

vLLM：独立分支vllm-omni，全品类全覆盖

独立维护完整多模态套件：图像、视频、TTS、扩散模型、离散扩散DLLM全栈支持
硬件适配最广：TPU、Trainium、Gaudi全部原生支持，云厂商多模态业务首选
商业化重点投入多模态生产流水线，扩散模型是核心增长赛道 #### SGLang：SGLang-Diffusion附属模块，优先级低于LLM/Agent
扩散、视频仅作为扩展功能，资源倾斜远少于文本推理
多模态VLM仅基础支持，无独立商业化团队；不投入TPU、专用AI芯片多模态深度适配

5. 调度器与零开销优化路线

vLLM V1引擎：异步重叠调度，通用批量最优

Model Runner V2默认架构，双批次重叠、零气泡调度，面向无规律混合并发
优化重心：大批量离线推理、高并发独立请求、MoE负载均衡
EAGLE同步存在CPU-GPU同步气泡，高并发P99延迟会抬升 #### SGLang：零开销重叠调度永久标配
CPU预处理、FSM约束、EAGLE草稿、GPU计算四者完全并行重叠，无同步阻塞
调度器原生适配Radix缓存树查询，多轮会话场景GPU利用率更高
长期持续打磨“零开销投机解码”，拉开延迟差距

6. 社区、生态与商业化路线

vLLM：开源普惠，商业化生态最庞大

社区规模、贡献者、第三方集成（K8s、云厂商、向量库）行业第一
商业公司Inferact提供官方企业版，面向公有云、超大规模异构集群
路线：兼容一切硬件、兼容一切上层框架，走通用基础设施路线 #### SGLang：学术+垂直行业深度落地，轻量化专精路线
LMSYS伯克利学术主导，社区规模更小但迭代聚焦Agent、结构化、RL
商业化侧重企业RAG、智能体、大模型微调训练场景，主打垂直AI应用厂商
不追求全硬件全覆盖，优先深耕NVIDIA+国产昇腾/AMD主流卡，弱化小众TPU/专用芯片

7. 长期架构重构规划

vLLM：V1引擎稳定迭代，轻量化V2实验中

当前V1引擎成熟稳定，短期只做内核优化；远期V2会重构内存管理器、统一多模态管线
兼容存量代码，不破坏现有用户API #### SGLang：持续前后端协同重构（DSL+Runtime绑定迭代）
每一轮大版本同步升级SGL语言语法与底层Radix运行时，两者深度耦合迭代
为了Agent性能会适度打破兼容，优先保证复杂业务性能收益

三、极简总结：选型与规划一句话区分

相同点

两者都攻坚PD分离、EAGLE投机解码、下一代GPU、多硬件兼容、分布式KV缓存、云原生生产部署，底层高性能推理技术栈趋同。

不同点

vLLM：通用全场景推理底座，广度为王；未来主攻多模态、异构硬件、大规模通用在线服务、MoE批量推理，RL/Agent仅为辅线。
SGLang：Agent/结构化/RL一体化系统，深度为王；未来主攻Radix前缀缓存、SGL可编程DSL、多轮对话智能体、训练推理融合，多模态、小众硬件仅做配套。

需要我整理一份选型判断清单，根据你的业务场景（纯聊天/RAG/Agent/训练/文生图）快速判断该选哪个框架吗？

ii 简要说：vLLM 离硬件近,主攻多模态；SGLang深入到软件场景

一、vLLM：更贴近硬件底层、全模态全覆盖

1. 为什么说它“离硬件更近”

底层内存/调度完全面向GPU硬件资源做极致优化 核心基石 PagedAttention 模仿操作系统内存分页，直接管理显存物理块、DMA零拷贝、FlashAttention硬件内核、HMA混合内存、KV缓存swap换页到CPU内存，全部是硬件层、显存层、PCIe带宽级优化。设计思路：把模型当成黑盒，只管好GPU资源调度，不介入上层业务逻辑。
硬件生态广度第一 NVIDIA、AMD ROCm、昇腾、Intel XPU、AWS Trainium、Google TPU全适配；各大云厂商、AI芯片厂商官方合作维护插件，优先适配各类新硬件内核（Blackwell、MI350等）。
调度器是通用批处理底座 Model Runner V2、连续批处理、MoE弹性并行、跨节点KV缓存卸载，全部服务于最大化GPU硬件利用率，不管你是聊天、摘要、离线批量，统一一套硬件调度逻辑。

2. 多模态是官方一级核心赛道（vLLM-Omni独立完整体系）

专门重构流水线抽象 OmniStage，统一支持图像、音频、视频、TTS、扩散文生图/视频、离散DLLM；
视觉编码器、LLM、扩散生成器分阶段独立扩缩，原生做多模态显存/计算隔离；
未来规划持续加码全模态生成，是vLLM差异化核心竞争力之一。

3. 短板：上层业务能力只是配套

结构化JSON、Agent工具调用、多轮会话缓存复用都只是附加功能，底层没有深度绑定优化；复杂Agent循环/分支逻辑必须丢给客户端实现，引擎不原生支持工作流。

二、SGLang：向上深耕软件业务场景，硬件优化为业务服务

1. 核心定位：推理引擎+上层DSL编程语言一体化

底层硬件优化是手段，上层复杂LLM应用才是核心目标，重点深耕四大软件场景：

多轮对话/长会话 核心护城河 RadixAttention 基数树KV缓存，专门针对大量重复System Prompt、多轮上下文、RAG检索前缀做全局复用，多轮场景吞吐远超vLLM；
Agent智能体工作流 自研SGL DSL，引擎原生支持循环、分支、工具调用、多模型串行/并行、动态Prompt拼接；不用客户端反复发请求，大幅减少网络开销，这是vLLM完全不具备的一等公民能力；
结构化输出（JSON/SQL/正则） XGrammar内置FSM并行解码，底层深度优化约束生成，格式纠错、速度远优于vLLM外接Outlines；
RL训练+推理一体化 原生支持权重热更、引擎休眠、PD分离训练流水线，兼顾推理服务与大规模RLHF/DPO/GRPO微调，vLLM仅提供轻量辅助工具链。

2. 硬件、多模态只是配套，优先级很低

硬件适配：只深耕主流NVIDIA、AMD、昇腾，小众TPU、专用训练芯片投入极少；硬件优化全部服务Radix缓存、EAGLE零开销调度，没有独立面向异构硬件的底层重构；
多模态：仅基础VLM图像支持，扩散、视频、TTS属于附属扩展模块，没有独立vllm-omni这种完整产品线，长期不会作为主线发力。

3. 硬件层面不是完全不优化，只是思路不同

SGLang也做CUDA、显存、EAGLE加速，但所有硬件优化都围绕多轮/Agent/结构化场景：
比如你之前看到的「EAGLE零开销」，专门解决多轮高并发下CPU-GPU同步气泡，是为Agent场景定制的硬件流水线优化，而非通用批量推理。

三、一句话精炼验证你的判断

vLLM：底层硬件基建，广度优先；主打通用GPU资源调度、全硬件兼容、完整多模态生成，上层Agent/结构化只是附加功能；
SGLang：上层应用 runtime，深度优先；以Radix缓存、SGL DSL为核心，死磕多轮对话、Agent、结构化输出、RL训练推理一体化，硬件与多模态仅做配套支撑。

四、补充一个关键区分（避免误解）

两者都做CUDA、显存、投机解码等硬件加速，不是SGLang不碰硬件；
区别在于：

vLLM：硬件优化是主线目标，适配所有业务；
SGLang：硬件优化是配套手段，只为复杂Agent/多轮场景服务。

iii 这两个未来可能被不同的AI巨头收购吗？

vLLM、SGLang 被AI巨头收购的可能性完整分析

先给核心结论：
两者都刚独立分拆成商业化创业公司、拿到大额种子轮、估值不低，短期（1–2年）不会轻易被收购；中长期（3–5年）存在收购可能性，但收购方、收购逻辑、收购概率完全不一样。

一、先理清两家现在的商业主体（收购的前提）

1. vLLM → 商业化公司 Inferact

2026年1月核心团队独立创业，种子轮 1.5亿美元，投后估值 8亿美元
投资方：a16z、红杉、真格、Databricks风投等纯财务VC，无芯片/AI巨头战略控股
定位：通用硬件推理底座、多模态、全硬件适配，云厂商、芯片厂商通用基建

2. SGLang → 商业化公司 RadixArk

2026年5月从伯克利LMSYS分拆，种子轮 1亿美元，投后估值 4亿美元
战略投资方直接包含：NVIDIA NVentures、AMD、联发科；xAI高管是天使投资人
定位：Agent/结构化/RL训练推理一体化，主打上层应用场景

二、两者「被收购」的相同底层约束（两家都适用）

开源主体独立，收购公司≠收购开源代码 两个项目都是 Apache 2.0 开源，代码永久公开托管在LMSYS/GitHub社区；就算母公司被收购，开源分支依然可以由社区、伯克利团队继续迭代，巨头无法独占技术，收购价值会打折扣。
团队目标是独立上市，不是卖身 两家都拿到顶级VC大额种子轮，投资人路线是：扩商业客户→A/B轮融资→3–5年IPO，收购只是备选退出方案，不是首选。
行业更流行「战略投资/深度绑定」，而非全资收购 参考英伟达对Groq是技术授权+吸纳核心团队，而非全额并购；云厂商、芯片厂更愿意入股、深度共建，避免反垄断、巨额现金支出。
反垄断风险高 vLLM是全球占有率最高的通用推理引擎，如果NVIDIA、微软、谷歌全资收购，会被监管判定垄断AI推理基础设施，审批阻力极大。

三、vLLM（Inferact）：收购概率、潜在买家、逻辑

1. 收购概率：中等（3年内偏低，5年后偏高）

2. 最有可能出手的巨头分两类

（1）云厂商：微软Azure、AWS、Google Cloud

动机：vLLM是全硬件、全模型、多模态通用底座，云厂商自有推理系统偏弱，收购后统一云上推理底层，降低自研成本；
障碍：估值8亿美金不算低，且开源代码无法锁死，更多会选择战略入股+独家深度合作，而非全资收购。

（2）芯片厂商：NVIDIA、AMD、Intel

NVIDIA：自家有TensorRT-LLM，和vLLM直接竞争，全资收购意愿弱；但会持续战略投资、联合优化；
AMD/Intel：自家推理软件生态薄弱，收购vLLM可以快速补齐跨硬件推理能力，收购意愿更强。

（3）大模型厂商：Meta、OpenAI

Meta：内部推理方案自研，但vLLM社区生态极强，收购用来补齐对外云服务；
OpenAI：重度依赖自研推理引擎，收购动力极低。

3. 为什么vLLM更容易被云/芯片巨头看上？

正好对应你之前的判断：vLLM贴近硬件、通用、多模态全覆盖。
对云、芯片厂商来说，它是通用基础设施，可以服务所有客户、所有模型、所有硬件，收购后能直接拉动GPU/云算力营收，通用性带来商业价值上限更高。

四、SGLang（RadixArk）：收购概率、潜在买家、逻辑

1. 收购概率：分化明显，两类买家态度完全相反

（1）高意向买家：xAI、字节、阿里、腾讯、Anthropic（做Agent/大模型应用的公司）

核心匹配点：SGLang独有的Radix缓存、SGL DSL、Agent原生支持、RL训练推理一体，是面向上层智能体业务的专用引擎；
xAI本身已经大规模落地SGLang，创始人团队有xAI前员工，马斯克有直接收购动力，用来统一Grok全系推理与RL训练链路。

（2）低意向买家：NVIDIA、AMD、公有云厂商

NVIDIA已经战略入股RadixArk，只需要合作优化，不需要全资收购；
公有云主打通用批量推理，SGLang场景偏垂直（Agent/RAG），覆盖面不如vLLM，收购性价比更低。

2. 关键限制：双芯片巨头已经提前入股

NVIDIA、AMD同时持有RadixArk股份，任何第三方巨头想要收购，都需要和两大芯片厂商博弈，交易难度远高于Inferact。

五、两者收购场景核心差异对照表

维度	vLLM（Inferact）	SGLang（RadixArk）
核心收购方	云厂商、AMD/Intel芯片厂	xAI、国内大模型厂商、Agent应用公司
收购核心价值	通用硬件底层、全硬件/多模态生态，标准化推理基建	Agent/结构化/RL一体化、Radix前缀缓存，垂直业务性能护城河
现有股东	纯财务VC，无芯片巨头控股	NVIDIA、AMD战略入股，交易门槛更高
收购阻力	反垄断风险高（通用垄断级工具）	行业垄断风险低，但现有股东博弈复杂
短期（1–2年）收购可能性	低，优先独立扩张	极低，芯片股东深度绑定
中长期（3–5年）收购可能性	中高，云厂商补齐基建刚需	中等，仅垂直AI大模型公司有强收购意愿

六、两种更可能发生、替代全资收购的模式（现实主流）

战略少数股权投资 英伟达、AMD已经投了RadixArk；未来AWS、微软大概率入股Inferact，深度定制、共享收益，但不收购控制权。
Acqui-hire（人才吸纳+技术独家授权） 巨头不买公司，直接高薪吸纳核心研发团队，拿到独家商业优化授权，开源代码依旧对外开放（参考英伟达×Groq模式）。
独家深度共建合作 比如xAI和RadixArk长期绑定、微软Azure和Inferact定制云上版本，按营收分成，无股权交易。

七、一句话总结你的疑问

vLLM：因为贴近硬件、通用全场景，公有云、芯片厂商更想收，但反垄断、高估值会拖慢收购，大概率先入股合作；
SGLang：深耕Agent、多轮对话、RL上层软件场景，做生成式大模型/智能体的厂商（xAI、国内大厂）收购意愿更强；但NVIDIA/AMD已经提前持股，全资收购难度更大；
短期2年内两家都不会被收购，行业主流路线是战略投资+联合共建，而非全盘收购。

《播客AI & I》对话数据标注和评估公司 Surge AI 的创始人兼 CEO Edwin Chen

cognitalk — Thu, 25 Jun 2026 01:14:13 +0000

https://www.youtube.com/watch?v=omX6wrLuX08
这段视频是播客节目《AI & I》的一期访谈，主持人 Dan Shipper 对话了数据标注和评估公司 Surge AI 的创始人兼 CEO Edwin Chen。

Surge AI 是一家通过提供专家数据和环境来“抚养” AGI 的“隐形巨头”，据主持人透露其营收已达 10 亿美元且未进行过风险投资。在这场约 44 分钟的对话中，他们深入探讨了 AI 的最新进展、数据在模型训练中的核心角色，以及 AI 给人类带来的生存哲学思考。

以下是访谈的核心内容整理：

1. 模型发展与“研究级”数学的突破

像办学校一样培养 AI： Edwin 将 Surge AI 的工作比作“AGI 的学校” 01:50。一年前他们主要测试模型解决中学生数学（如其参与创建的 GSM 8K 基准）或数学竞赛（IMO）的能力，而现在训练的维度已经大幅提升。
攻克未解之谜： 他们推出了针对科研级数学的基准 Remon bench 03:51。Edwin 提到不久前 OpenAI 的模型利用新颖的代数几何技术，成功证伪了数学家保罗·埃尔德什（Paul Erdős）提出的一个公开猜想 04:07。菲尔兹奖得主 Timothy Gowers 甚至对此表达了“既震撼又松了一口气”的复杂心情 06:23。

2. AI 公司的“指标陷阱”与人类 FLOURISHING（蓬勃发展）

反对“成瘾性设计”： Edwin 尖锐地指出，许多 AI 实验室和产品当前在盲目模仿社交媒体的逻辑——优化用户停留时间（Session Length）和互动率 15:56。为了迎合类似 LMSYS Chatbot Arena 这类只有几秒钟权衡的投票机制，模型正在学会“奖励作弊（Reward Hack）” 22:21，例如故意使用极其华丽、充满套路的密集的隐喻来写文章（他们为此推出了 Hemingway bench 写作基准来测试这一现象） 39:51。
提倡“主动拒绝”与授权： Edwin 认为真正对人类有益的 AI 应该优化“人类的成长”。例如在用户反复纠结修改一封无关紧要的邮件 20 次时，AI 应该主动“推回”（Push back）并对用户说：“别改了，这就挺好，快发出去做更有意义的事吧。” 15:26

3. 数据与高阶 RL 环境的演变

强化学习环境（RL Environments）： 当前最前沿的训练不再只是喂干瘪的数据集，而是将模型放入包含各种工具（如 MCP 服务器、Google Drive API、Slack API）和几十个复杂文档的综合环境里 30:55。模型需要像真人一样，在被赋予一个模糊任务后（例如“去更新 2026 年的收入预测”），自己去翻看 PDF、判断 Slack 聊天记录里的哪些修正信息覆盖了旧数据 31:18。
深度个性化（Deep Personalization）的价值： 在谈到个人数据的价值时，Edwin 提到目前模型的个性化做得很糟（容易过度索引用户偶然提到的一句话） 36:21。未来真正有价值的是能全方位理解你行为上下文的互联数据网络（你的邮件、Slack、照片、浏览器交互历史等），从而学习你的写作风格和决策逻辑 38:49。

4. 存在主义危机与 AGI 时间线

对人类未来的担忧： 作为一个从小想成为纯数学家的人，Edwin 承认如果“缩放定律”（Scaling Laws）持续生效（他也坚信这点），未来几乎没有什么事情是人类能做而 AI 做不好的 07:33。这可能导致人类陷入某种无能为力的瘫痪状态。
“假装有自由意志”： 他引用了科幻作家姜峯楠（Ted Chiang）的小说《天意》（What's Expected of Us） 08:46，呼吁人类在未来必须“有意识地选择”自己去证明、去写作、去创造，即便 AI 的产出更优化，也要去坚守和保护“人类自身的价值” 09:16。
AGI 预测： 如果将 AGI 定义为“能够自动化普通工程师的工作、在顶级期刊发表颠覆性科研成果，或有能力赢得菲尔兹奖/诺贝尔奖”，Edwin 认为未来 5 年内就会实现 42:08。

如果你想了解技术细节（特别是关于数学和 RL 环境的部分），可以直接拖动到视频对应的时间戳观看。

【红杉播客】AI Neolab--Engram【主攻记忆与持续学习】--分享未来 AI 发展趋势的独特见解

cognitalk — Thu, 25 Jun 2026 01:12:13 +0000

https://www.youtube.com/watch?v=aiR7F4jqjXY
在这期由红杉资本（Sequoia Capital）主持的《Training Data》播客节目中，初创公司 Engram 的联合创始人 Dan Biderman 和 Jessy Lin 深入探讨了 “记忆（Memory）与持续学习（Continual Learning）” 在 AI 领域的核心作用，并分享了他们对未来 AI 发展趋势的独特见解：

核心论点与核心 premise

将知识直接“烤入”模型权重（Weights）： Engram 的核心前提是：不要一味地将越来越长的提示词强行塞入上下文窗口，或者完全依赖外挂的检索增强生成（RAG）。相反，应该将团队、公司或个人的特有知识直接训练并内化到模型的权重中，让 AI 模型像工作了多年的资深员工一样，本能、直觉式地了解这家公司 01:11。
记忆与持续学习是硬币的两面： 目前的 Frontier 实验室主要聚焦于预训练和后训练（Post-training），将模型打造成在数学和代码上具有高 raw intelligence 的工具。而 Engram 认为，AI 未来的瓶颈在于理解“全新且不断演变的上下文”，并主张模型应该处于“永远在训练”的状态 01:04。

技术实现与架构

轻量化训练与适配器（Adapters）： 团队在技术上通过各种适配器（如 LoRA、Prefix 等）和微调手段（SFT、RL、在策略蒸馏等），在各个工作空间（Workspace）内针对不同团队训练专属的专属小模型 04:39。
不仅是开源模型： 虽然由于可以直接访问权重（White box access），这种方法在开源模型上最容易实施，但他们也可以与闭源模型公司合作，将这种能力应用到任何基于 Transformer 的模型上 06:31。

与 RAG（外挂检索）及 KV Cache 的对比

RAG 存在极限（"Rag Killer" 的定位）： 尽管不完全排斥 RAG（基础事实的记录依然需要），但如果一味依赖 RAG，模型很难进行抽象的、跨领域的联想（Associations）。此外，当信息量达到每天数千万 Token 时，RAG 的查找和模型的重新阅读成本将变得极为高昂 02:59, 29:00。
压缩 KV 缓存（KV Cache）： Dan 提到目前的 KV 缓存堪称“庞然大物”（例如一个 Llama 70B 模型对单个长条目的 KV 缓存甚至能吃掉 80GB 的显存，而整个模型的权重也就 100GB 左右）。通过梯度下降（离线训练），可以将这 80GB 的“大脑状态”压缩上千倍，并深深烙印在权重中，极大降低推理成本 30:16。

创始人背景与思维碰撞

生物学/神经网络的启发： Dan 拥有神经科学背景，他提到人类的大脑演化出了特定的局限性，大脑在梦境中其实也是在脱离实际交互后，重新去试验和消化白天所学。Engram 的模型也包含类似的阶段，给模型时间去“消化”并从中学习，以防模型在持续学习中彻底“脱轨”（Off the rails） 13:24, 27:52。
关于“语言战胜视觉”的趣味探讨： 主持人提出了一个非技术性的“疯狂理论”（即电脑纯电子化的环境强化了语言，削弱了生物学上具有极高比特率的视觉优势）。Dan 和 Jessy 认为，人类在办公室读写备忘录等知识工作（Knowledge work）本就不是生物演化的结果，因此采用基于文本的语言作为现阶段 AI 的切入点和界面是非常高效且合理的 41:11, 42:43。

未来愿景（5-10年后）

人人都有专属模型： 未来不会是只有一个越来越大的通用 AGI 模型统治一切。世界将走向分化：每个人、每个团队都将拥有专属于自己的小模型，它们懂你的风格和独特的习惯 15:21, 42:53。
数据层的神经接口（Neural Interface to Data Plane）： 正如 DataBricks 或 Oracle 成为传统数据层的基础设施一样，Engram 期望成为所有人访问数据层的“神经网络接口”——它不代表冷冰冰的文件系统，而是代表针对该文件系统的一种高度联想、高效的大脑状态（Brain state） 43:26。

AI 业内备受瞩目的创新实验室（Neolab）Engram 详细介绍

Engram 是一家在 AI 业内备受瞩目的创新实验室（Neolab），其核心愿景是攻克生成式 AI 的两大终极难题：长期记忆（Memory）与在线持续学习（Continual Learning）。

2026年6月，Engram 正式结束隐身状态（Stealth mode），宣布获得由红杉资本（Sequoia Capital）、Kleiner Perkins 和 General Catalyst 领投的 9800 万美元融资，估值达到 6 亿美元。令人瞩目的是，AI 巨擘 Andrej Karpathy 和 AI 领域泰斗 Pieter Abbeel 均以个人名义进行了追投。而此时，整个公司仅有 13 名员工。

以下是关于两位联合创始人、公司起源以及发展历史的详细介绍：

一、核心创始人背后的技术底色

Engram 的诞生是一场“理论神经科学”与“计算机系统架构”的强强联合。

1. Dan Biderman（首席执行官 CEO）

学术背景与底色： Dan Biderman 来自理论神经科学领域。在神经科学中，“记忆”与“大脑印记”是研究的核心。他曾于斯坦福大学统计学与 AI 领域深造，并在世界顶级 AI 专家 Christopher Ré 教授的实验室工作。
核心理念： 受到生物学启发，Dan 认为当前的 AI 模型虽然充满智慧，但由于缺乏真正的记忆，它们就像“聪明的陌生人”。他主张模型不应在每次对话时重新检索、阅读文件，而是应该像人类大脑一样，通过消耗离线算力，将知识压缩并“内化”到权重中。

2. Jessy Lin

学术背景与底色： Jessy Lin 毕业于麻省理工学院（MIT），在认知计算科学与自然语言处理（NLP）领域拥有深厚的研究背景，随后在加州大学伯克利分校（UC Berkeley）继续进行前沿 AI 机制的研究。
核心研究贡献： Jessy 长期专注于模型的主动阅读（Active Reading）与稀疏记忆微调（Sparse Memory Finetuning）。在联合创办 Engram 之前，她便致力于解决模型在面对长上下文时，如何识别“哪些事实值得被记住，哪些事实该被遗忘”的过滤机制。

3. 豪华创始人天团的其他成员

除 Dan 和 Jessy 外，创始团队还包括：

Sabri Eyuboglu： 斯坦福大学博士，专注于 Transformer 内部记忆机制、状态空间模型（SSM）及 BASED、Minions 等架构的研究。
Jack Morris： 2025年底毅然放弃康奈尔大学（Cornell）的博士学位加入创办，专注于模型记忆化与对抗性研究。
Scott Linderman & Christopher Ré： 斯坦福大学知名教授及实验室导师。

二、公司的起源：从斯坦福实验室到“逆向押注”

1. 实验室的灵感碰撞（2025年前后）

公司起源于斯坦福大学的 AI 实验室。当时，Dan Biderman 和 Sabri Eyuboglu 在 Christopher Ré 的实验室里发现，他们正从两个完全不同的学科两端，追逐着同一个“在当时并不算流行”的概念——机器记忆。

传统的计算机科学中，“数据库（存储事实）”和“算法（处理逻辑）”是完全分离的。
现代大模型的快猛发展（如预训练和 RAG）虽然部分解决了知识外挂的问题，但并没有从底层改变模型“健忘”的缺陷。

2. “记忆印记”的命名

公司取名 “Engram”（记忆印记/ 遗痕） 正是源自神经科学。在生物学中，engram 指的是记忆在生物大脑神经组织中留下的物理或化学痕迹。创始人们希望在硅基芯片中，为 AI 刻下同样可以线性组合、擦除和沉淀的“神经印记”。

3. 成立与拒绝巨头邀约（2025年10月）

2025年10月，团队正式从斯坦福实验室走出，在旧金山创立了 Engram。为了这个共同的机器记忆愿景，团队内的多位核心成员拒绝了来自 Google Gemini 团队和 Anthropic 等前沿实验室的高薪 Offer，选择加入这场胜算极高却充满挑战的 calculated risk（精确计算的冒险）。

三、发展历史与商业演进（2025年10月 - 2026年6月）

1. 隐身期与“RAG 杀手”架构的确立

在创立初期的几个月里，Engram 在隐身状态下快速迭代。大模型行业当时正深陷“高昂的 Token 推理成本”和“日益臃肿的上下文窗口（Context Window）”危机。

痛点： 现有的企业 AI 代理（Agents）在处理一份 7 万字的合同或代码库时，其生成的 KV Cache（键值缓存）会膨胀到 100GB 以上。每问一个新问题，模型就得把这 100GB 的“大脑状态”重新从磁盘加载或重新计算一遍，这带来了恐怖的显存占用和资金消耗。
Engram 的解法： 他们提出了一套 “永远在训练”（Always Training） 的架构。利用团队此前在 LoRA、BASED、Cartridges、稀疏微调等领域的一系列突破性论文成果，Engram 能够在后台自主运行轻量化的微调，把企业的 Bespoke（定制化）工作流、专属工具链和团队上下文，直接压缩成数千倍小的适配器权重。

2. 拥抱顶尖生态合作伙伴

随着算力成本和 Token 消耗成为应用层的最大痛点，Engram 的技术迅速迎来了强烈的市场需求。在隐身期间，他们便与 Microsoft（微软）、Notion、Harvey（知名法律 AI） 等在企业协作和大规模数据处理上饱受 AI 运营成本折磨的巨头及头部初创公司达成了战略合作伙伴关系。

3. 轰动性的高额融资与未来愿景（2026年6月）

2026年6月23日前后，Engram 正式走出隐身状态，向世界揭晓了其 9800 万美元的巨额融资。

在红杉资本主持的 Training Data 播客中，Dan Biderman 和 Jessy Lin 勾勒出了公司的终极演进路线：

从每天更新到每分钟更新： 目前 Engram 的系统能够让模型在企业内部每天自主消化和吸收新产生的数据。未来，他们的目标是提升数据吸收频率到“每小时”，最终实现“每分钟”甚至“实时更新”而不会发生灾难性遗忘（Catastrophic forgetting）。
去中心化的个人模型时代： Frontier 实验室（如 OpenAI、Anthropic）在拼尽全力用海量资源去堆积一个庞大、通用的 AGI。而 Engram 坚信未来的世界属于分化：“每个人、每个团队都应该拥有一个属于自己的小模型”。这个模型独立、安全、可控、极度便宜，且会在日常使用中，像一个真正的数据员工一样，每天醒来都变得比昨天更聪明。

超越沙箱：为 AI Agent 构建持久化运行时

cognitalk — Wed, 24 Jun 2026 22:48:17 +0000

http://www.youtube.com/watch?v=WFyFCFC15dE
这篇演讲的题目是 《Beyond Sandboxes: Architecting Durable Runtimes for AI Agents》（超越沙箱：为 AI Agent 构建持久化运行时），演讲者是 Orkes 的联合创始人兼 CTO Virein Baraiya。

演讲的核心观点是：在生产环境中运行 AI Agent，仅仅依靠“沙箱（Sandbox）”来实现隔离和保护是不够的，更需要一个“持久化运行时（Durable Runtime）”来保证 Agent 的状态可持久化、崩溃后可恢复、过程可审计。

以下是演讲的核心内容总结：

一、核心痛点：为什么传统的“沙箱”和“内存循环”不够用？

传统的 Agent 开发通常把 Agent 当作一个在内存循环（LLM in the loop）中运行的实体：LLM 观察状态 $\rightarrow$ 决定调用工具 $\rightarrow$ 更新状态 $\rightarrow$ 继续循环 08:45。但这种模式在生产环境中存在巨大缺陷：

无法应对长周期任务： 如果一个 Agent 需要运行几天、几周，甚至包含“人工介入（Human-in-the-loop）”环节（例如等待审批或用户提交文档），把整个进程挂在微型虚拟机或沙箱里会极大浪费 CPU 和内存资源 05:54。
缺乏崩溃恢复能力（Crash Recovery）： 传统的内存循环在进程奔溃（如网络超时、系统断电）后，内存中的状态和上下文就会全部丢失，无法精准从断点恢复 07:38, 09:10。
多 Agent 协同复杂： 在沙箱中运行的 Agent 彼此之间通信时，需要处理复杂的 IP 寻址、重试逻辑等胶水代码 06:26。

二、核心架构思想：将“推理”与“执行”分离

演讲者提出，应当把 Agent 的关注点进行分离 04:32：

沙箱用于保护“执行（Actions）”： 专门用来运行由 Agent 生成的、可能存在安全风险或 Bug 的工具代码。
持久化框架用于编排“推理（Reasoning）”： LLM 只负责提出计划（例如：“我建议调用天气工具，参数是波士顿”），而不直接执行它。真正的工具调用由底层的运行时（Runtime）系统接管 05:03。
Agent 本质上是动态构建的“Sagas（长事务工作流）”： 传统工作流图是静态预定义的，而 Agent 是由 LLM 随着运行动态构建图（Late-bound Sagas），但它们同样需要底层的持久化基座来记录每一步 11:04。

三、解决方案：Conductor 与 Agent Span

为了落地这一架构，演讲者介绍了两个开源项目：

Netflix Conductor（微服务工作流引擎）： 这是演讲者团队在 Netflix 期间开发的（现由 Orkes 维护）。它作为一个持久化基座，通过数据库（如 Postgres、Redis）将 Agent 运行的每一步（LLM 调用、工具调用、状态流转、人工输入）都写入账本（Ledger） 12:28, 15:03。
按需挂起： 遇到人工介入或长周期等待时，工作流会暂停，释放全部 CPU 和内存，直到下一个事件触发唤醒，即使隔了 6 个月也能继续 18:03, 19:11。
Agent Span（Agent 运行时）： 构建在 Conductor 之上的 Agent 专用运行时。它像一个编译器，可以把目前市面上主流的 11 种 Agent SDK（如 LangGraph、OpenAI Agents、Vercel AI SDK 等）定义的 Agent，在不修改业务代码的前提下，直接转换为 Conductor 的持久化工作流运行 14:09, 23:34。

四、带来的核心价值

确定性的护栏（Guardrails）： 护栏由框架层硬性控制，而不是让 LLM 决定是否调用，防止 LLM 因幻觉绕过安全检查（例如误删数据库） 10:05。
全量审计与回放（Audit & Replay）： 即使在几个月后，合规部门想要审计某个 Agent 为什么做出了某项决策，开发者都可以查看完整的执行记录，甚至可以通过 Mock 掉 LLM 的方式来“回放”整个执行过程 19:34, 24:17。
更高效的测试与 Eval： 可以改变某一步 LLM 的输出，来观察后续工具链和业务逻辑的走向，让 Agent 测试更具确定性 20:13。

五、落地建议与技术护城河

演讲者在最后给出了几点实践建议 21:56：

工具的幂等性： 由于系统采用至少一次交付（At-least-once）的队列，必须注意处理非幂等工具（如转账）的重试逻辑。
上下文腐化（Context Rot）： 随着 Agent 循环次数增多，账本和上下文会极速膨胀。建议将复杂的 Agent 拆分为多个子 Agent（Sub-agents），让每个子 Agent 只维护各自相关的局部上下文 22:58。
企业的真正护城河（The Moat）： 基础模型（如 OpenAI、Anthropic）会不断迭代甚至把一些外部过程内化，但它们永远拿不到企业自身的业务上下文（Context）。通过持久化运行时捕获到的、企业独有的业务执行流程和决策上下文，才是企业在 AI 时代真正的壁垒 24:45。

通俗易懂的解释下Conductor 与 Agent Span

我们可以用一个通俗的类比来理解 Conductor 和 Agent Span 的关系。

把大模型（Agent）想象成一个“极其聪明但记性极差、随时可能失忆的侦探”。他办案时需要频繁打电话问专家（调用 LLM）、翻查档案（调用工具），甚至需要等领导审批（人工介入）。

这时候，演讲里提到的这两个开源项目就扮演了不同的角色：

1. Netflix Conductor：不知疲倦的“书记官”兼“时间暂停器”

传统的做法是让侦探自己一边查案一边在脑子里记进度。如果中间侦探突然“晕倒”（程序崩溃、网络断开），案子就得从头查起。

它的核心功能（账本机制）： Conductor 就像是给侦探配了一个形影不离的“书记官”。侦探每说一句话、每打一个电话、每翻一页档案，书记官都会死死地记在小本本（数据库）上。就算侦探突然晕倒，换个新侦探来，翻开小本本就能立刻接着上一步往下查，绝不浪费时间。
按需挂起（时间暂停）： 办案过程中，侦探需要等领导审批一个文件，而领导去度假了。如果让侦探一直在办公室干等着，公司得天天给他发高额薪水（白白占用服务器 CPU 和内存）。有了 Conductor，书记官会直接让侦探“原地消失”（释放所有计算资源），把案子封存起来。等 6 个月后领导度假回来一签字（触发唤醒事件），书记官啪的一下把案子重新打开，侦探瞬间“复活”，不偏不差地从等签字的那一秒继续往下干。这期间没花公司一分钱的资源费。

2. Agent Span：高级的“同声传译员”（翻译官）

侦探（Agent）有很多流派，有的说英语（LangGraph 框架写出来的），有的说法语（OpenAI SDK 写出来的），他们办案的套路各不相同。而书记官 Conductor 是个老古板，它只听得懂极其严谨的、工厂流水线式的“标准公文”（Deterministic Workflow）。

它的核心功能（编译器/运行时）： Agent Span 就是一个“超级同声传译”。你不需要逼着侦探去学怎么跟老古板书记官沟通（不用修改你现有的 Agent 业务代码）。你用市面上任何主流框架（比如 LangGraph 或是 OpenAI 官方 SDK）写好你的 Agent，Agent Span 会在底层自动把侦探嘴里那些天马行空的推理和想法，翻译成老古板书记官能听懂的“标准公文”并交给它去记录和执行。

总结一下

Conductor 解决了 Agent 在生产环境中的“生存问题”——通过记笔记和高阶省电模式，保证 Agent 任务死不掉、开销低、随时可查。
Agent Span 解决了 Agent 的“适配问题”——让你用市面上最流行的姿势去写 Agent，然后无缝享受 Conductor 带来的超强稳定性，中间不需要掉一层皮去重构代码。

能否用Rubik Pi 3替代Openclaw的VPS 服务器

cognitalk — Wed, 24 Jun 2026 02:28:56 +0000

http://www.youtube.com/watch?v=qeKJhlmBKFw
这视频的核心内容是探讨能否用低成本的微型单板计算机（如 Rubik Pi 3），来替代每月 28 美元的云端 VPS 服务器，作为运行 AI Agent（如 OpenClaw）的底座。 视频作者对此进行了实测，主要内容及结论如下：

1. 核心背景与硬件参数

研究初衷：AI 模型的推理（Inference）由于极其消耗算力，通常直接托管在云端。而 AI Agent 本身主要负责任务编排（如调用 API、网页搜索、运行 Shell 命令、协调工具等）。既然“重活”都在云端，Agent 自身所需的硬件配置也许并不高 00:20。
测试硬件（Rubik Pi 3）：搭载高通 Dragon Wing 平台的微型开发板，配备 8 核 ARM CPU、8GB RAM、128GB 存储，内置专用 AI 加速器（不过在本次测试中，由于模型在云端，并未使用该加速器）01:09。

2. 测试任务与结果对比

作者将搭载 Ubuntu 系统的 Rubik Pi 3（命名为 Thunder）与每月 28 美元的 Digital Ocean VPS（2核 vCPU，4GB RAM，命名为 Ace）进行了对比测试：

任务一：短调研（总结 OpenClaw 最近的三个 GitHub 版本）
VPS (Ace) 耗时：约 29 秒 03:48。
Rubik Pi (Thunder) 耗时：约 32 秒（慢了约 10%）03:48。
任务二：复杂任务（分析 Hacker News 收藏并自动编写工具发送每日简报）
在多次运行中，两者的速度互有胜负（有时 Rubik Pi 更快，有时 VPS 更快）04:30。

核心发现： 硬件性能的差异在实际体验中几乎可以忽略不计 04:49。导致运行时间波动最大的因素其实是 Agent 自身的策略选择。例如，Agent 在某次运行中选择用浏览器抓取网页就会很慢，而选择直接发送 Web 请求或拆分出子 Agent 去写代码，效率就会大大提升 05:00。

3. 软件栈与闭源生态的差距

当使用相同模型在 ChatGPT（或 iPhone 16 Pro / M4 Max Mac）上直接运行类似任务时，仅需 12 秒 05:50。
作者指出，这是因为 OpenClaw 作为一个开源、通用的 Agent 框架，为了灵活性和可扩展性保留了大量的抽象层和钩子（Hooks），而 ChatGPT 作为闭源系统，在响应速度上做了极致的工程优化 06:21。

4. 最终结论与三大行动点

放弃日常交互使用：日常实时的 AI 对话和交互还是会直接用 laptop 或手机运行 ChatGPT/Claude/Gemini，因为更快更方便 07:26。
非常适合异步/后台工作：对于定时运行、触发式的信息收集、内容总结等后台自动化任务，响应时间慢一点无所谓，Rubik Pi 完全能胜任 07:38。
直接省钱：作者决定关闭每月 28 美元的 VPS 账户，彻底转向使用 Rubik Pi 3 来跑他的 OpenClaw Agent。Rubik Pi 售价约 280 美元，这意味着大约 10 个月即可收回硬件成本 07:58。

Sakana AI 最新推出的多智能体编排系统 Sakana Fugu

cognitalk — Wed, 24 Jun 2026 02:28:51 +0000

http://www.youtube.com/watch?v=FwA1bcpSGiM
这视频详细介绍了 Sakana AI 最新推出的多智能体编排系统 Sakana Fugu（包含基础版 Fugu 和最强版 Fugu Ultra） 01:24。

以下是视频内容的详细总结：

核心概念：Sakana Fugu 是什么？

多智能体编排系统：Fugu 并不是一个单一的基础大模型，而是一个经过训练、专门用来调用和协调其他大模型（包括它自己）的系统 00:36。
单一 API 接入：对用户或开发者来说，它就像一个普通大模型一样只有一个 API 接口。它会在后台自动进行模型选择、任务分配、结果验证和最终合成 00:52。
避开出口管制：视频提到 Fugu 具备一种“主权 AI”的优势。如果某个模型因为出口管制或服务不可用而无法调用，Fugu 会自动重路由，寻找其他可用模型来替代完成任务 02:28。

Fugu 的两个版本 01:24

Fugu：平衡了性能与低延迟，适合日常工作（如代码审查、日常对话或交互式服务） 01:30。
Fugu Ultra：针对需要多步骤解决的复杂高难度问题进行了优化，会调用更深层的专家智能体池，追求最高的准确性和深度（适用于 AI 研究、网络安全分析、专利调查等） 01:49。

基准测试（Benchmarks）表现 02:38

视频展示了 Fugu 在多个测试中击败了 Claude Fable 5、Gemini 3.1 Pro、GPT-5.5 以及 Claude 4.8 Opus：

LiveCodeBench（动态代码测试）：Fugu 和 Fugu Ultra 表现抢眼，大幅超越了 Fable 5 和 GPT-5.5 02:42, 03:06。
GPQA / Charive Reasoning（科学图表与推理）：Fugu Ultra 同样名列前茅，展示了极强的科学推理能力 03:21, 03:34。
SWE-bench Pro（真实软件工程测试）：这是唯一一个 Fugu 没能击败 Fable 5 的测试。因为 Fable 5 专门为长期、远期的智能体任务而设计，而 Fugu Ultra 的设计初衷是在单次复杂的任务中拿到最高分 03:53, 04:42。

5 大核心应用案例（Use Cases）

视频重点列举了 Fugu Ultra 在具体任务中的惊人表现 05:22：

自主机器学习研究：让 Fugu Ultra 连续运行 14 个小时去优化另一个小 GPT 模型的训练代码，它自主进行了 100 多次实验，不断调整批次大小、模型深度和学习率，最终效果超越了其他匿名大模型 05:28。
金融时间序列预测（炒股）：在没有未来视角的情况下，给它 1 万美元初始资金处理 50 周的某股票历史数据（成交量、移动平均线等），Fugu Ultra 最终实现了 20% 的收益率（11,943 美元），而其他顶级模型普遍低于 15% 06:14。
盲棋（Blindfold Chess）：不给看棋盘，纯靠内存记录整局棋的状况。Fugu Ultra 连玩 4 把，且对手包含 2100 ELO 的 Stockfish 引擎。其他模型玩着玩着就记错棋盘状态了，而 Fugu 保持了绝对精准，全以将军（Checkmate）获胜 07:07。
从零编写魔方解法（Rubik's Cube Solver）：仅用一句提示词在纯 Python 下写出解魔方的代码。Fugu Ultra 编写的代码成功运行并解开了全部 300 个打乱的魔方，而另外两个大模型写出的代码在执行时直接崩溃了 07:39。
机械光圈 CAD 设计：设计一个类似相机光圈、多叶片联动的精确机械结构。Fugu Ultra 能够生成完全符合物理逻辑、闭合完好的设计；而其他模型的设计普遍存在缝隙、连接脆弱或无法完全闭合的问题 08:15。

如何使用与注意事项

访问地址：可在 sakana.ai 网站上使用（但由于数据隐私法案，英国和欧盟用户需要使用 VPN 才能访问） 08:59。
使用形式：它不是普通的聊天机器人（Chatbot），需要创建 API Key，通过代码调用 09:15。
计费与消耗：提供订阅制或按量付费（Pay-as-you-go）。目前有“买一个月送一个月”的促销，但因为它的底层是调用大量模型，Token 消耗（Usage）速度非常快，钱包烧起来会很快 09:25, 09:38。

美国前政府人员Dean Ball 加入 OpenAI负责战略未来

cognitalk — Wed, 24 Jun 2026 02:28:47 +0000

http://www.youtube.com/watch?v=LG8KXIv0_mA
这段视频是播客节目《认知革命》（The Cognitive Revolution）的一期长篇深度访谈。主持人 Nathan 采访了 Hyperdimensional Substack 的作者、前美国创新基金会（Foundation for American Innovation）高级研究员 Dean Ball 00:00。

这期节目的重磅核心在于 Dean Ball 正式宣布他将加入 OpenAI，创建并领导一个名为“战略未来”（Strategic Futures）的新团队 00:07，该团队的任务是协助 OpenAI 的高管们共同制定前沿 AI 政策 00:15。

以下是访谈中所涵盖的核心内容汇总：

1. 宣布加入 OpenAI 与新团队使命

新职位：Dean 将加入 OpenAI 领导“战略未来”团队 00:07，直接帮助公司高管规划前沿 AI 政策 00:15。
加入的初衷：他认为前沿实验室（Frontier Labs）已经成为一种全新的、极具影响力的“权力中心”，需要全新的政策范式 01:18。此外，这些实验室拥有的关于 AI 现状和未来的内部信息高度差异化，如果不深入其中，作为政策研究者很难做出最出色的工作 01:25。
AI 演进时间线：主持人提到 OpenAI 的公开时间线预计在 3 个月后就会出现 AI 研究实习生，并在 21 个月后（2028 年 3 月）迎来全面成熟的自主 AI 研究员 00:23，这让 Dean 的新职位显得尤为关键。

2. 回顾与反思美国 AI 政策

美国 AI 行动计划：Dean 回顾了他之前参与制定的美国 AI 行动计划 06:32。他认为该计划中许多对 AI 发展（如网络能力、生物安全风险）的预测在现在看来依然准确 06:53。
政策反思：如果能多出两个月的时间打磨，他会试图将目前的几十个分块目标融合成一个更有凝聚力和统一愿景的整体战略 09:29。同时，他认为政府在政策应对上往往过于“被动（reactive）” 17:34。
国际担忧：他在进行民间外交和国际学术访问时，听到欧洲等海外地区最大的担忧是：“一旦发生冲突，美国人会不会直接关掉我们的 AI 模型接口？” 15:36。

3. 前沿 AI 治理与地缘政治

供应链与机构博弈：节目探讨了 Anthropic 公司所面临的供应链风险认定、美国国防部（Department of War）取消部分合同、以及美国国家安全局（NSA）与 AI 实验室之间关于大规模监控和自主致命武器的红线博弈 24:18。
权力转移：谈到了美国测试和界定 AI 风险的职责可能从原有机构向 NSA 转移的现象及背后的政治因素 25:25。

4. 时代下的“主角能量”（Main Character Energy）

核心共鸣：Dean 和主持人都感受到，人类正在进入一个历史的“主角能量”时期 28:50——在这个阶段，在少数关键节点上，个体的人类自主性（Human Agency）将获得前所未有的巨大杠杆和影响力（在机器最终全面超越人类之前） 28:57。
个人牺牲与学术独立：Dean 刚迎来自己的第一个孩子（未满一岁），重返这一风口浪尖的领域无疑需要极大的个人生活牺牲 31:13。但值得庆幸的是，即便加入了 OpenAI，他依然保留了在 Hyperdimensional Substack 上公开撰写 AI 政策文章的独立自由 33:34。

5. 团队招募

在节目的尾声，Dean 透露他的新团队接下来将会对外招人 02:28:51。虽然规模不会很大，但如果有人对前沿 AI 政策感兴趣，可以通过他的个人网站（deanball.com）或订阅他的 Hyperdimensional 邮件列表直接向他投递简历 02:29:07。

0621银行海量客户应如何建立“人性化”情感连接

cognitalk — Wed, 24 Jun 2026 02:28:38 +0000

http://www.youtube.com/watch?v=A4d0PjVyfsI

在这段来自 Banking Transformed Podcast 频道的视频中，主持人 Jim Marous 深入探讨了为什么银行空有海量的客户数据，却常常错失与客户建立“人性化”情感连接的时刻。

视频的核心内容可以拆解为以下几个关键部分：

1. 被“程序化”的客户关系 00:00

虚假的关心：主持人分享了自己的亲身经历——他的客户经理每季度都会打电话来“关怀”业务，但他通常选择不接并转入语音信箱。因为这种电话听起来就像是银行员工在完成一项“必须打勾”的机械任务，而不是真正关心他。
情感纽带的缺失：客户能够敏锐地分辨出什么是“被程序化的管理”，什么是“真正的关心” 00:17。如果银行的每一次互动都只是在走流程，客户和银行的关系就会越来越疏离。虽然客户可能还会继续使用这个账户，但只要竞争对手提供更好的利率或更走心的服务，他们会毫不犹豫地离开 00:52。

2. 其他行业的“高光时刻”案例 01:04

主持人通过其他行业的三个小故事，说明了什么才是让人铭记的“人性化时刻”（这些举动成本极低，甚至不需要提前审批）：

达美航空 (Delta)：机长送来了一张由全体机组人员亲笔签名的感谢卡，这让主持人感到意外和惊喜，甚至将其分享到了社交媒体上 01:40。
诺德斯特龙百货 (Nordstrom)：主持人在旅行时忘了带西裤，商场员工得知后，特意在正式营业前提前为他开门，并准备好了几种尺码的裤子供他选择，还当场完成了修改 01:58。
迪士尼乐园 (Disney World)：主持人的侄女在刷手环排队时，游乐设施的虚拟角色直接喊出了她的名字，让全家人至今都在津津乐道 02:10。

核心反思：迪士尼仅凭一个下午、一个手环和孩子的中名，就能让客户感到被重视；而银行参与了客户多年的生活（看着薪水到账、房租支出、存款增加、贷款减少），却对此视而不见，错失了无数制造美好回忆的机会 02:46。

3. 银行该如何改进？ 03:19

让流程变成真正的对话：解决办法不是取消季度关怀电话，而是给员工一个真正有意义的理由去致电。例如，聊聊客户所在行业的新动态、竞争对手的举动，或者当地其他企业的成功故事，让通话从“读脚本”变成“有价值的交流” 03:20。
小手艺带来大连接（以 TD Bank 为例）：TD Bank 延续了在网点提供棒棒糖和宠物饼干的传统。他们近期在费城推出了“狗狗专属 ATM 自动零食机”——当狗狗走近时会掉落免费饼干 04:01。这台机器不卖任何东西，但它让银行网点变得更有温度，甚至有客户专门带狗回到网点来体验 04:28。

4. 管理层需要做出的改变 04:47

赋权给一线员工：就像丽思卡尔顿酒店 (Ritz-Carlton) 信任员工并允许他们支配一定额度来解决客户问题一样，银行也需要信任一线员工，允许他们根据常理做出人性化的反应 01:06。例如，当得知客户痛失挚爱时，一个 sensible（理智且贴心）的举动应当是全网点共同签名送上一张慰问卡，而不是仅仅在系统文件里做个冷冰冰的记录 05:24。
改变考核指标：如果银行只考核“打了多少个电话”或“发了多少封信”，员工就会为了完成 KPI 去打那些让人想挂断的电话 05:30。管理层应该更多地去记录客户的真实反应和员工创造的走心故事。

总结 06:43

对绝大多数金融机构而言，这根本不是技术问题，因为数据和机会每天都在眼前。真正困难的抉择在于：银行是否愿意信任并允许员工，以一种更具人情味的方式去使用银行已经掌握的这些客户信息。

DEV Community: cognitalk

翁荔Scaling Law博文解读

🎯 一句话版

🍳 用一个做菜类比

🔹 Kaplan（2020）说：

🔹 Chinchilla（2022）反驳：

📉 那什么叫"缩放定律（Scaling Law）"？

🔁 现实问题：好数据不够，要重复练？

🪤 为什么容易算错？

✅ 最通俗总结

博文详细要点内容

一、什么是 Scaling Law（缩放定律）

二、Kaplan et al. (2020) — 早期 LLM Scaling Law

三、Chinchilla / Hoffmann et al. (2022) — 推翻 Kaplan 的 compute-optimal 分配

四、为什么 Kaplan 和 Chinchilla 结果不同？

五、Scaling Law 为何是幂律？— 理论假说

六、数据受限 & 重复训练（Data-Constrained / Repeated Data）

七、Scaling Law 拟合的实践陷阱

八、一句话总结

[SAIR播客]陶哲轩：AI 时代的"证明消化不良"与竞赛新范式

完整的要点如下：

Atlas Wang 对谈：符号 AI 与神经网络以及金融高频交易的 AI 化

1.大白话谈播客内容说了啥

第一件：现在的AI大会到底变成啥样了？

第二件：嘉宾自己的核心研究——“逼”AI说出人话

第三件：AI在金融领域（特别是高频交易）怎么用？

总结一下

2.播客里哪里聊了"符号神经网络 / Neuro-symbolic AI"

📍 入口：Alan 追问"符号 NN 到底是什么、为什么要 care"

📍 关联规则 / Apriori 怀旧（Alan 接话）

📍 实用动机两段（Atlas 自述做符号的"功利心"）

📍 理论那段（整集最"硬"的一块）

📍 后面还有两段"广义 neuro-symbolic"的延伸，不算核心但有关

3. XTX Markets 这家公司的起源与发展历史

🧑🎓 创始人：Alex Gerko，俄裔数学博士

🏗️ 2015：XTX 诞生

📈 成长路径：从外汇做市切银行的蛋糕

🌐 业务扩张：从 FX 到全覆盖

💰 几个"出圈"的数据点

🇷🇺➡️🇬🇧 一些八卦

4.播客的完整内容要点

整文总标题

[IBM-Tech] 提示词恶意软件杀伤链（The Promptware Kill Chain）剖析

🛡️ Promptware 杀伤链的 7 个阶段

🛑 我们该如何应对？

从SGLang、vLLM的异同推演未来AI演化

i SGLang vs vLLM 2026–2027 发展规划：异同完整对比

一、两大框架共同长期目标（相同点）

1. 分布式架构统一路线：PD分离（Prefill-Decode Disaggregation）

二、核心路线差异（根本定位不同，规划完全分化）

（一）底层架构定位差异（决定所有后续规划）

vLLM：通用高性能推理执行引擎，广度优先

SGLang：DSL+Runtime一体化系统，深度优先

（二）分维度未来规划详细对比

1. KV缓存长期演进路线（最核心分水岭）

vLLM 路线：PagedAttention持续迭代，通用内存均衡

2. 结构化输出 / Agent 工作流规划

vLLM：仅做基础支持，不深度深耕

3. RL训练+推理一体化路线（巨大分化）

vLLM：推理为主，RL为辅，依赖外部工具链

4. 多模态&扩散模型发展策略

vLLM：独立分支vllm-omni，全品类全覆盖

5. 调度器与零开销优化路线

vLLM V1引擎：异步重叠调度，通用批量最优

6. 社区、生态与商业化路线

vLLM：开源普惠，商业化生态最庞大

7. 长期架构重构规划

vLLM：V1引擎稳定迭代，轻量化V2实验中

三、极简总结：选型与规划一句话区分

相同点

不同点

ii 简要说：vLLM 离硬件近,主攻多模态 ；SGLang深入到软件场景

一、vLLM：更贴近硬件底层、全模态全覆盖

1. 为什么说它“离硬件更近”

2. 多模态是官方一级核心赛道（vLLM-Omni独立完整体系）

3. 短板：上层业务能力只是配套

二、SGLang：向上深耕软件业务场景，硬件优化为业务服务

1. 核心定位：推理引擎+上层DSL编程语言一体化

2. 硬件、多模态只是配套，优先级很低

3. 硬件层面不是完全不优化，只是思路不同

ii 简要说：vLLM 离硬件近,主攻多模态；SGLang深入到软件场景

一、核心创始人背后的技术底色

二、公司的起源：从斯坦福实验室到“逆向押注”

三、发展历史与商业演进（2025年10月 - 2026年6月）

一、核心痛点：为什么传统的“沙箱”和“内存循环”不够用？

二、核心架构思想：将“推理”与“执行”分离

三、解决方案：Conductor 与 Agent Span

四、带来的核心价值

五、落地建议与技术护城河