DEV Community: cognitalk

What Remains: AI, Death, and Loss | 被害人姊姊 Stacey Wales：AI 弟弟沒有原諒兇手

cognitalk — Fri, 06 Nov 2026 05:38:38 +0000

https://www.youtube.com/watch?v=4eotprEKUI8

这段视频是哈佛大学伯克曼克莱因中心（Berkman Klein Center）举办的一场题为《遗存：人工智能、死亡与失落》（What Remains: AI, Death, and Loss）的专题研讨会录像 [00:06]。

这场讨论的核心，正是围绕前面提到的那起轰动全国的真实案件展开的——被害人 Chris Wales 的姐姐 Stacey Wales（视频中的主讲嘉宾之一）亲自来到了现场，讲述了她用 AI 制作死去的弟弟的数字分身、并将其带入法庭的来龙去脉。

整场座谈会由哈佛法学院教授 Leah Plunkett 主持 [05:11]，并邀请了哈佛古典学教授 Kathleen Coleman 从人类历史、纪念文化和悲伤心理学的角度进行了深入对话 [05:39]。

讨论的核心情况与亮点：

事件背景与法律的前沿碰撞： Stacey 在会上详细还原了案件的细节 [23:23]。2021年，她的弟弟 Chris 在亚利桑那州的一次路怒事件中被枪杀 [26:07]。在2025年的第二次庭审量刑阶段，Stacey 为了让法官能真正感受到弟弟的“人性”和生前的音容笑貌，用文字写下了她认为弟弟会说的话，并制作了一个 3 分半钟的 AI 视频分身，在法庭的“被害人影响陈述”（Victim Impact Statement）环节播放 [19:11], [24:02], [48:37]。虽然主审法官当时表示很受触动并对判决产生了影响 [02:06]，但不久前上诉法院刚刚以“程序和证据错误”为由推翻了这一判决 [01:03]。
“数字幽灵”与亡者复活的伦理浪潮：会议开场探讨了如今市面上越来越火的“AI 逝者重现”技术（即所谓的“生成式幽灵”或“死后聊天机器人”） [07:46]。许多创业公司允许人们利用生前的照片、声音和聊天记录创建数字分身 [08:35]。法律学者指出，这把人类带入了一片极其模糊的法律和伦理荒野——数字遗产归谁？亲属是否有权用 AI“替”死者发声？
悲伤、记忆与对“控制”的反思：古典学教授 Kathleen 从历史和哲学的角度指出，人类自古以来就在用各种方式（从罗马墓碑到现代艺术）纪念逝者，但试图通过技术“完美保留”或“脚本化”一个逝去的人，可能会成为一种沉重的心理负担，甚至让人无法正视生者之间真正充满摩擦、痛苦却真实的互动 [57:35], [01:00:21]。记忆随着时间自然淡去、允许生命向前看，也是人类经验中非常重要的一部分 [01:15:20]。
姐姐 Stacey 的真诚自白： Stacey 在会上剖析了自己的心路历程。她提到自己家族经历过多次早逝的悲剧（父亲和叔叔都在上世纪90年代死于艾滋病，父亲也留下了录音带） [38:29]，那种深刻的“缺失感”促使她想要去填补这个空白 [40:58]。她强调，自己在编写 AI 台词时极其谨慎和克制，没有让弟弟说出任何超越他生前信仰或替他做出“原谅凶手”决定的越界之词，她只是希望在法庭这个冰冷的体制中，把弟弟当成一个真正的人完整地呈现出来 [24:54], [01:23:06]。

简而言之，这是一场将真实的谋杀案判决争议与AI 时代“数字生死学”（Digital Afterlife）伦理探讨结合在一起的高级别深度研讨会。

Turing Award Winner(David Patterson): The Difference Between a CPU, GPU, and TPU | GPU 和 TPU 的本质区别

cognitalk — Thu, 05 Nov 2026 05:58:32 +0000

https://www.youtube.com/watch?v=fsnKZQA4aZ0

这段视频是图灵奖得主、计算机体系结构泰斗大卫·帕 Patterson（David Patterson）接受访谈的内容，核心讨论了 CPU、GPU 和 TPU 的本质区别、各自的发展历程，以及它们在人工智能时代的定位。

以下是访谈的主要内容梳理：

1. CPU（中央处理器）：通用计算的基石

设计特点：CPU 是高度通用的处理器。现代 CPU 通常有几十个到上百个核心，其核心指令集设计延续了数十年的演进路线，属于标准的“通用架构”。
适用场景：它依然是不可或缺的角色，主要负责操作系统、编译器、各种通用控制逻辑以及复杂的分支跳转任务。

2. GPU（图形处理器）：从图形渲染到并行加速

设计特点：GPU 最初是为了满足图形渲染需求而设计的，采用的是多线程架构。当一个硬件线程发出内存请求时，硬件会迅速切换去执行其他任务，以此掩盖内存延迟。
浮点数精度：图形处理对高精度浮点数的依赖较小，通常使用 16 位或 32 位浮点数即可。
转向 AI 的转折点：
2006 年，英伟达 CEO 黄仁勋推动开发了 CUDA 编程语言，让开发者能够用类 C 语言更方便地操控这种多线程并行架构，从而打破了其纯粹作为图形加速卡的局限。
2012 年的 ImageNet 图像识别竞赛中，AlexNet 凭借在 GPU 上运行深度神经网络大获全胜。由于 GPU 具备极强的单精度浮点计算能力，AI 领域随后迅速全面转向了 GPU。

3. TPU（张量处理器）：为 AI 而生的专用加速器

设计特点：谷歌在设计 TPU 时采取了“白板起步”（Clean Slate）策略，完全不考虑图形渲染，直奔神经网络的核心——矩阵乘法（Matrix Multiply）。
架构创新：
去除了硬件缓存：传统的通用处理器为了弥补内存延迟会设计三级缓存，而 TPU 因为其内存访问模式在软件层面是完全可预测的，所以直接去掉了复杂的硬件缓存，改由软件精细调度。
发明 BF16 浮点格式：传统科学计算高度依赖 64 位双精度浮点数。谷歌的 Brain 研究团队意识到 AI 并不需要那么高的精度，更需要“数值范围”，于是推出了脑浮点格式（Brain Float 16 / BF16），将指数位做大、分数位缩窄。
冲击力：这种极致的领域专用（Domain-Specific）设计让 TPU 在推理时的性能比同期的 GPU 快上数倍甚至数十倍，直接震动了整个芯片行业，促使英特尔、英伟达以及各大云厂商纷纷加码 AI 芯片研发。

4. 为什么需要架构分工？（摩尔定律放缓的背景）

大卫·帕 Patterson 指出，如果当年摩尔定律和登纳德缩放比例定律（Dennard Scaling）没有失效，我们今天可能已经用上 100 太赫兹（THz）的通用 CPU 处理器，GPU 也许依然只会是个小众产品。
然而，CPU 的主频在 2005 年前后就遇到了瓶颈（停留在 2~3 GHz 左右），单核性能无法继续靠物理工艺暴增。
因此，计算走向了专用化（Specialization）的道路。虽然 CPU 依然是管理系统必不可少的“总指挥”，但整个行业（包括资金和人才）的重心已经彻底转向了 AI 加速器。

GPU与TPU的区别一句话通俗总纲

GPU：通用并行计算机器，本来是画图的，靠一大堆小计算核心抢时间；TPU：专用矩阵乘法机器，生来只干神经网络最核心的张量运算，砍掉一切不需要的电路来堆效率。
两者能加速神经网络，根源是：深度神经网络90%以上的计算，本质就是大量矩阵乘（张量乘），刚好都能拆成超多独立的乘法加法一起算——天然适合并行。

下面顺着你写的内容，用大白话再梳理+补清楚核心差异，修正几个容易踩坑的小误区：

1. GPU 理解：一大群灵活的小工人

CPU 像少数几个超级聪明、什么活都能干的老师傅，一次只能干几件事；
GPU 是几千上万个简单工人。
最早任务：渲染画面。一张图几百万像素，每个像素的光照、颜色计算互相独立，完全可以大家分头同时算。

它的核心机制（你写的线程切换掩蔽延迟）通俗版：
工人去仓库拿数据的时候很慢（内存延迟），GPU 不闲着：这个工人等数据，调度器马上安排另一个工人先干活。靠大量线程切换，把“等内存”的空窗填上。

✅ 优点：通用。这些小工人什么并行活都能做：图形渲染、矩阵乘、仿真、视频编码、挖矿、训练大模型都行。CUDA 就是给这些工人一套统一的指挥语言，让程序员不用画图，直接派它算数学。
✅ 精度：原生擅长 FP32、FP16；后来英伟达才跟上 BF16、FP8。
⚠️ 代价：
为了通用，它带了很多复杂电路：指令解码、硬件缓存、分支判断单元、各种各样的控制逻辑。很多电路，跑神经网络矩阵乘法的时候是闲置的，属于“兼容开销”。

所以 GPU 是：什么并行活都接，但是做矩阵乘法这件事，不是最精简的硬件。

AlexNet 一战成名的逻辑：当年大家都用 CPU 跑网络，GPU 海量小核心并行算卷积（卷积本质可以转成矩阵乘法），直接碾压 CPU。

2. TPU 理解：专门造的矩阵乘法流水线工厂

谷歌一开始就想：神经网络绝大多数计算，就是反复 A矩阵 × B矩阵，别的活很少。那我不要通用工人，直接造一条专门批量做乘加（MAC，乘累加）的流水线。

矩阵乘法 = 一堆乘法，结果再加起来，也就是 MAC 操作。TPU 最核心硬件就是巨大的 MAC 阵列（脉动阵列 systolic array），这是 GPU 没有的核心结构！
脉动阵列通俗比喻：像传送带。数据顺着阵列一步步流动，每经过一个单元就完成一次乘加，数据边走边算，不用反复来回搬运读写。

你原文两点重点，通俗解释：

去掉复杂硬件缓存，交给软件调度
GPU 靠硬件缓存自动预判你接下来要用什么数据，适配各种乱七八糟随机的内存访问；
TPU 跑神经网络的时候，数据读取顺序是固定、可预测的（矩阵乘的访问模式很规律）。硬件不用花晶体管做自动缓存，换由编译器/软件提前排好数据流顺序，省下的晶体管全部堆 MAC 计算单元。

不是 TPU 没有内存，是没有通用的硬件缓存体系。
BF16 不是为了省速度，是抓准神经网络的数值特点
64位双精度：小数精度极高，但指数范围很小，AI 不需要；
FP16：尾数多、指数位少，很容易溢出；
BF16：保留和 FP32 一样大的指数范围，砍掉小数尾数。神经网络对小数细微误差不敏感，但很怕数值溢出。BF16 用很小的位宽，保住了AI最需要的动态范围。

✅ TPU 的代价：不灵活
这套脉动阵列，跑矩阵乘极强；但遇到分支判断、不规则计算、随机算法，它就很别扭。它是领域专用芯片（DSA），不是通用并行芯片。老一代TPU甚至很难用来训练，主打推理；后面几代TPU才慢慢补齐训练能力。

3. 最核心本质区别（浓缩版）

GPU：通用多核心并行处理器，硬件设计目标是“高效执行任意并行程序”，矩阵乘法只是它支持的其中一类任务。靠大量线程隐藏内存延迟。
TPU：基于脉动阵列的张量专用加速器，硬件架构直接围绕“矩阵乘/乘加数据流”设计，优先优化数据流搬运，砍掉通用控制开销，最大化MAC密度。

4. 回答你的问题：为啥两个都能加速神经网络？

神经网络（卷积、Transformer注意力、全连接层）计算主体：海量独立的乘加运算

对 GPU：把矩阵乘法拆成无数独立小任务，扔给成千上万小核心并行跑，靠多线程掩盖等数据的时间；
对 TPU：把矩阵乘法喂进脉动阵列，数据在阵列里流水式流动，连续不断做乘加，最小化数据来回搬运开销。

类比：
同样是打包快递（矩阵乘）
GPU = 一大群临时工，每个人都有全套工具，除了打包，也能分拣、贴单、搬货；但是每个人都有一套额外工具，占地方。
TPU = 一条全自动打包流水线，整条线只设计用来打包，速度极高；让它干分拣、贴单就很麻烦。

补充两个常见容易混淆的点（给你原文做升级）

不是 TPU 天然一定比 GPU 快：要看场景。固定推理 workload、大矩阵、规整模型，TPU 优势巨大；模型有很多不规则算子、分支、动态shape，GPU 的通用性反而更稳。
现代英伟达 GPU（A100/H100）也加了 Tensor Core（张量核），本质就是在 GPU 里面塞了小型脉动阵列，专门加速矩阵乘。相当于 GPU 里面内置了一小块“TPU风格硬件”，用来弥补原生矩阵乘法效率短板，这也是两边互相借鉴的结果。

BI 249 Michael Cole: Brain Flows are the Units of Cognition | Michael Cole访谈：脑流（Brain Flows）——作为认知基本单元的大脑网络动力学

cognitalk — Wed, 04 Nov 2026 10:37:46 +0000

https://www.youtube.com/watch?v=jbqLZoRGuUM

全文标题：Michael Cole访谈：脑流（Brain Flows）——作为认知基本单元的大脑网络动力学

访谈来源：Brain Inspired播客第249期，围绕Michael Cole著作《Brain Flows: How Network Dynamics Compose the Human Mind》展开对话

通俗整体解读

传统神经科学习惯认为：大脑的每个脑区本身负责一套专属计算，比如梭状回面孔区专门处理人脸。但Michael Cole提出脑流理论：认知的真正基本单元不是脑区、也不是局部神经元集群的活动，而是脑区之间动态的信息流动（脑流）。
打几个比方：

🚗汽车类比：不能只盯着看汽车各个零件怎么震动（对应只看脑区局部神经活动）；真正实现“开车跑60码”功能的，是零件之间传递能量、信号的流动过程（脑流）。只记录零件震动看不出车子怎么工作，要看部件之间的交互流动。
🧱搭独角兽玩具类比：5岁女儿用零散材料拼独角兽。独角兽是抽象概念，要把视觉、运动、记忆、抽象概念多个脑区的信息互相流转组合才能完成，不是某一个脑区单独“制造独角兽想法”。
🧠对比AI：现在大模型缺少人类大脑的全局流动层级架构。人脑底层是感知‑行动循环（身体与真实世界交互），顶层是内在核心价值观、目标；AI既缺少身体现实落地，也没有内生核心价值，只有中间的信息处理，容易产生幻觉。
✨创造力类比：创造力不是凭空冒出来。好比做饭，你已经储备好各种食材（习得的概念、自动化脑流通路）；大脑自发随机组合搭配（自发脑流），再由顶层价值观/目标筛选哪些组合有用，得到创新想法。
🛌顿悟体验（洗澡、散步灵光一闪）：高度专注时大脑流动模式僵化，困在局部死胡同；放松后脑活动变得更灵活，自发脑流可以探索别的组合，就容易冒出解决方案，但前提是你已经储备好全部“食材”。

核心颠覆点：很多过去以为是某个脑区内部完成的计算，实际上是别的脑区信息流汇聚过来，在该脑区生成对应的神经响应。就连著名的面孔加工，很大程度上也是来自其他脑区流向梭状回面孔区的信息流造就，并非该脑区内部独立完成全部面孔运算。

分段详细要点（按文本token占比估算时间百分比）

第（一）部分播客开场：介绍嘉宾与《脑流》书籍核心命题（0%‑12%）

1 播客节目与嘉宾背景介绍

主持人Paul Middlebrooks介绍本期嘉宾Rutgers大学Michael Cole教授，Cole实验室运行10年后，撰写著作《Brain Flows: How Network Dynamics Compose the Human Mind》。
4年前Michael曾经上过该播客，本书大量内容来自当年播客讨论，同时整合实验室多年实证研究。
播客备注给出书籍、个人网站链接，提及Patreon赞助渠道。 2 书籍核心总论点抛出
脑流理论核心主张：脑流才是脑功能、认知的基础功能单元，而不是脑区或者脑区的局部神经活动。
挑战神经科学传统：过去的“神经元教条”、现在流行的“神经元集群教条”，都把局部神经活动当作认知根基。 3 书籍目标读者与写作小技巧
目标受众：研一研究生、高年级本科生，不回避复杂硬核内容，读者可以跳过难懂章节。
为降低阅读门槛加入生活化小故事，典型案例：“爸爸日”去女儿幼儿园，5岁孩子用简陋材料拼独角兽。 4 独角兽故事的启发
独角兽是抽象概念；孩子既要脑子里理解抽象独角兽，又要指挥肢体移动零件搭建实物。
这个行为需要多模态感知、抽象思维、运动控制大量脑区互相流转信息，直观体现脑流层级、组合特性。

第（二）部分什么是脑流？脑流、功能连接、有效连接的概念辨析（12%‑32%）

1 脑流的定义：活动+连接二者的动态交互

脑流不等于单纯神经放电，也不等于单纯解剖连接；它是神经活动水平与神经连接共同相互作用产生的动态信息传递。
生理载体是轴突上动作电位，但不是单个动作电位就叫功能脑流；必须在远端脑区产生因果影响，才算功能性脑流。
局部脑区内循环动力学确实存在，但大量fMRI、EEG、非人灵长类多单元记录实证显示：绝大部分信号变异来自脑区之间，而不是脑区内部；局部动态更多负责维持表征状态。 2 脑流该如何测量，测量边界在哪里
fMRI：间接测量，源脑区活动 × 功能连接权重，求和预测目标脑区活动；现代模型会加入非线性。
侵入式电极（癫痫病人颅内电极）：时间分辨率更高，可以推断跨脑区信息流。
理论上可以下探到单个锋电位，但单根轴突孤立动作电位很难测量，且大多不会在下游产生因果效应，不作为认知层面的基础单元。 3 功能连接 vs 有效（因果）连接
普通功能连接：大多是脑集群活动之间统计相关性；但相关性不等于因果，容易出现虚假关联。
Cole实验室观点：功能连接研究本质上是在做因果推断，等同于有效连接；研究者嘴上说统计相关，实际解释的时候会使用因果描述。
引用Read等人2019 Nature Neuroscience观点文章，讨论因果推断的难点。 4 虚假相关问题：间接连接的陷阱
案例：B同时驱动A和C，A、C之间没有任何直接/间接通讯，但是A、C活动会出现相关性。只用相关矩阵会误判A‑C存在功能连接，实际二者之间不存在脑流。
实验室解决方案：带正则化的偏相关；正则化用来简化模型、抑制噪声，提升模型可复现性。

第（三）部分活动流建模（Activity Flow Modeling）的诞生思路与工作机制（32%‑52%）

1 活动流建模思想的起源背景

Cole本身偏向实证科学家，对很多纯计算模型缺少实证约束感到不满，希望把真实人脑的连接、活动数据放进模型。
2013‑2014年项目契机：发现任务态功能连接对比静息态功能连接的差异比预期小；产生疑问：这么微小的差异是否真的具备功能意义？
思路转变：任务诱发脑活动是实实在在观测到的信号，而这些脑区的活动必然来自别处，这就是脑流；于是尝试用真实脑连接模拟脑活动生成。
2016年发表论文，基于静息态内在功能连接搭建活动流模型；后续修正混淆因素，证明那些微小任务态连接变化确实会改变脑区活动，具备实际功能。 2 活动流建模具体怎么运行
属于受真实脑数据约束的图神经网络；节点不是单个神经元，而是脑区神经元集群。
操作范式：留出一部分目标脑区数据做预测校验；拿源脑区的活动，乘以连接权重，求和预测目标脑区的活动水平；用留出数据检验预测准确度。
模型输出是脑区活动水平，不是文本、行为输出；但得到活动之后，可以再用解码技术读出脑内表征。
不仅可以用功能连接，使用解剖结构连接也可以得到高于随机水平的预测。 3 对比普通深度神经网络
普通深度神经网络存在简并性：大量不同连接权重可以实现相同功能，网络权重不一定匹配真实人脑的连接。
活动流模型强约束：全部连接来自人脑实测数据，因此模型架构贴合真实大脑。
模型进展：已经拓展到运动皮层，可以解码运动输出，完成简单任务；未来有望处理更复杂行为。 4 生成式理解的价值
传统神经科学大多只是描述脑活动模式，属于相关性层面；即便掌握全部活动和连接，也不知道功能是如何被生成出来。
生成式理解目标：回答“这套神经交互是否因果充分，足以产生观测到的脑功能”。
汽车类比：只观察踏板、车轮的状态变化只是描述；理解部件之间因果流动，才真正懂汽车如何跑起来，才知道故障该怎么修复。
引申“数字孪生大脑”设想：搭建人脑活动流数字孪生，在模型内预测试各种干预方案，缩小现实实验的候选方案，服务精神疾病等治疗研发。

第（四）部分全局流动层级、流动碰撞器、组合性、新颖性（52%‑68%）

1 大脑全局流动层级架构

底层：感知‑行动循环，大脑和环境反馈交互；
顶层：核心价值、目标表征；追求目标是脑流动态的核心目的，也是认知控制的本质。
实证证据：对人脑皮层功能连接矩阵做PCA，第一主成分正好对应这套全局层级：从感觉运动皮层向上延伸到认知控制脑区、默认模式网络。 2 流动碰撞器（flow collider）概念
多条来自不同脑区的脑流汇聚碰撞到同一个神经集群；多个输入信息流在此交汇，产生出新的表征与功能。
类比人工神经网络单元多输入汇聚；但人脑规模是百万级通路，远比人工网络复杂。
共振流动碰撞器：时序协调的汇聚，实现表征绑定；既保存各个子组件信息，又生成整体场景表征，形成“流场（flow field）”，是意识相关的重要基础。 3 写作最难的章节：组合性与新颖性（第四章）
认知控制是Cole长期研究领域，写作比较顺畅；第四章围绕组合性、新颖性，需要大幅度拓展思考边界，是全书最难写章节，还为全书后半部分（意识、创造力、精神障碍）打下理论基础。
组合性含义：大脑把世界拆解成可复用抽象组件；新场景、新概念是旧组件重新组合。环境本身需要具备组件稳定性，这套脑策略才有用。 4 近端组合域（zone of proximal compositionality）
工作记忆容量有限，大约同时维持4个项目；近端组合域指：基于已经习得的自动化表征，工作记忆当下能够重新组合生成的全部新概念集合。
新奇事物不是无中生有，是旧组件重新组合；超出近端组合域的组合，人无法直接理解，只能通过逐步训练拆解学习。
和Stuart Kauffman“邻近可能”思想相通：创新的可能性受限于已经习得的脑通路、概念储备。

第（五）部分基于脑流理论解读创造力、顿悟现象（68%‑78%）

1 创造力的脑流解释

创造力定义：生成既新颖又符合目标价值的东西。两大要素：①大脑自发伪随机脑流，在近端组合域内搜索各种组件组合；②顶层来自价值、目标的自上而下脑流，筛选评估哪些组合有用。
大脑静息态就持续存在自发脑活动，自发脑流会试探不同表征组合；类似演化：随机变异 + 价值选择。
如果缺少自上而下价值约束，只会冒出大量新奇想法，但全部没有实用价值；创造力存在一个自发活动强度的“最佳平衡点”。 2 生活中的顿悟（洗澡、散步、吉他写歌灵光乍现）
顿悟的前提：前期大量练习，已经把相关概念、技能固化为自动化脑流通路，储备足够组件。
高度专注时：去甲肾上腺素等改变神经非线性，脑流模式变得僵化，系统困在状态空间局部极小值。
放松（散步、半睡半醒）：兴奋‑抑制平衡改变，脑流动态变得更加流体化灵活；自发脑流得以探索别的组合，从而跳出僵局，突然得到答案。
目前很难做直接实验验证，属于书中带有推测性的命题。

第（六）部分情绪、精神障碍：失常的脑流动模式（78%‑86%）

1 写作过程中新冒出来的情绪理论视角

写作初期本书偏向冷认知（目标、控制），没有重点思考情绪；写到精神障碍章节，意识到大部分精神疾病核心体验是情绪扰动，必须纳入脑流框架。
情绪是低维的脑流流形，但可以覆盖大脑甚至身体广泛区域；高维的具体现实情境，被这套低维情绪流形“渲染调味”，对齐人内在目标。
举例：哪怕抽象目标（下棋赢棋），也会触发全套身体+大脑情绪响应；情绪可以引导人趋近目标或者远离威胁。
低维不等于简单复杂；只是万千不同具体情境，共享一套情绪流形模式。情绪因为分布极广，所以通常很难靠局部脑区控制。 2 精神障碍=病态吸引子的脑流模式
习惯、学习会塑造自动化脑流通路；在动力学系统视角，会形成吸引子状态。
心理疾病：脑流被持续拉扯到对自身目标无益的吸引子，反复陷进去。
认知控制网络（占皮层约40%，包含皮层+基底神经节如壳核、尾状核）具备反馈调节环路，可以尝试把脑状态拉回目标设定的状态；但如果病态吸引子力量过强，认知控制网络不足以挣脱。
干预手段：谈话治疗、药物、脑刺激，目标就是打破病态吸引子。

第（七）部分意识、流体化大脑状态，对比现有意识理论（86%‑92%）

1 书中句子：人类智能离不开意识

Cole坦言写完之后担心这句话，特意加上限定词“人类”。
人类处理、评估、理解新颖组合概念，需要完整全局脑流层级实现表征绑定；意识对应“流场flow field”，同时保留整体场景和各个子组件的表征。
工作记忆容量有限，但流场可以承载超出4个项目的高阶关系（比如长句子语义理解）。 2 流体化（fluidization）关键状态
类比流化床：通入适度气流，沙子像液体一样流动；大脑需要合适兴奋‑抑制平衡，达到流体化状态。
证据：TMS刺激实验。清醒有意识状态下，刺激诱发的脑流可以远距离、长时间传播；麻醉、非快速眼动睡眠时，信息流传播范围受限；REM睡眠则接近清醒状态。
平衡区间非常狭窄：兴奋过强→癫痫；兴奋不足→脑活动停滞；和临界脑假说高度呼应。 3 对比主流意识理论
本书偏向全局工作空间理论，但从脑流角度补充新解释，重点强调自发脑流、流动传播范围。
也讨论整合信息理论等其他框架；不宣称某一个理论完全获胜，聚焦脑流视角能新增哪些解释力。

第（八）部分脑流视角看待当今人工智能，人脑与AI核心差异（92%‑97%）

1 人脑全局流动层级的两端，当今AI都缺失

底层：人脑是具身的，有感知‑行动循环，和真实世界持续交互；这可以抑制幻觉。现在AI缺少这套底层接地；多模态视觉输入做部分弥补，但仍然不充分。
顶层：人脑具备内生演化而来的核心价值系统，塑造目标追求；
当前大模型只有中间信息处理部分。 2 现有AI的补丁方案
“宪法AI”尝试模拟顶层价值约束；RLHF人类反馈强化学习相当于外部强加价值，不是AI内生演化出来的。模型倾向于讨好人类，不是发自内在价值。 3 对未来AI的启发
想要更接近人类的智能，两个方向：①足够的具身化，让表征扎根现实世界；②发展内部生成的核心价值体系。
RLHF只是外部输入约束，和人从社会环境中内化价值的过程仍然存在本质不同。

第（九）部分总结：脑流范式对神经科学领域的颠覆，播客收尾（97%‑100%）

1 传统神经科学的隐性假设被脑流挑战

旧假设：任务下某个脑区活动升高，代表该脑区内部在独立完成特定计算。典型例子梭状回面孔区，过去认为面孔加工就在这个脑区内部完成。
Cole团队实证：面孔选择性可以由其他脑区流向梭状回的信息流生成；即便不建模脑区内循环，模型依然可以复现面孔选择性。
结论：即便是公认定位极强的脑功能，本质也是分布式脑流汇聚的结果；局部脑区会参与处理多种别的信息，功能根源在于跨区域流动，而不是脑区内部。 2 本书的写作态度
书中使用标记区分：E=实证证据支持；S=间接证据支持；P=提议/假说。坦然承认很多内容属于假说，希望哪怕部分结论被证伪，也能推动学科进步。 3 播客结束语
主持人评价本书适合不同水平读者，可以按需跳读硬核内容；感谢Michael，预告播客相关赞助渠道、信息来源。

[arXivPaper] New Formula for AI Superintelligence | AGI 规模化，取决于系统 1 放行系统 2 的操作吗？

cognitalk — Wed, 04 Nov 2026 01:34:17 +0000

论文《Does Scaling Toward AGI Depend on What System‑1 Lets System‑2 Execute?》（arXiv:2610.39497）章节要点+通俗解读

论文来自清华大学自动化系，核心观点：通往AGI不能只无脑堆大模型（System‑2），要配套协同设计一个轻量预判模块System‑1；用「预测‑过滤‑执行‑更新」闭环，只把昂贵算力花在真正有价值的交互上。
名词通俗释义：

System‑2：重算力、做深度思考/推理/工具调用的大模型（干活的“苦力”，贵，耗显存算力）

System‑1：轻量小模型，先预判这件事值不值得干（筛子，成本极低，不做复杂推理，只打分）

交互interaction：一次CoT推理、一次工具调用、机器人一步环境行动、训练一条样本都算交互

$\boldsymbol{\rho_u}$：有用交互密度，所有候选交互里面真正能带来学习/收益的那部分占比；$\rho_u$越小，垃圾交互越多

条件交互 conditional interaction：整套「System‑1打分过滤，System‑2只执行过审任务，结果反过来训练System‑1」闭环

摘要 Abstract

章节要点

当前AGI路径主要靠放大System‑2：更大模型、更多数据、更多算力、更长推理、更多智能体。
提出新思路：要协同设计System‑1+System‑2。轻量System‑1在执行前预判每个交互的价值，System‑2只执行值得花钱的交互。
核心机制：预测‑门控过滤‑执行‑更新闭环，覆盖训练、推理、智能体工具调用全场景。
理想条件下算力可以缩减接近 $1/\rho_u$；预测出错、探索、分布偏移会削弱节省效果。
假设：$\rho_u$ 是衡量缩放效率的关键指标；比起总算力，有效信息算力（informative compute）更适合描述模型缩放规律。

通俗解读

现在做大模型就是拼命把“干活大模型System‑2”越做越大。但很多任务、样本、推理步骤是没用的，白白烧显卡。
不如配一个便宜小System‑1当过滤器：先快速看一遍，判断这件事值不值得大模型下场干；只有值得的，才交给昂贵大模型执行；干完的结果反过来教System‑1预判得更准。
如果100件事里面只有10件有用（$\rho_u=0.1$），理想状态算力可以省到原来1/10。但小筛子也会看错，会打折扣。衡量模型进步不要光看总算力，要看真正产生价值的那部分算力。

第1章 The Interaction Problem at Scale 大规模下的交互难题

章节要点

AI发展分3个时代：
- 时代1（2012‑2020）：单纯放大模型参数量
- 时代2（2020‑2025）：放大数据与算力（现在主流路线）
- 时代3（2026+）：协同设计System‑1+System‑2，优先选择高价值交互。
瓶颈不只是缺数据算力：很多交互做完几乎得不到新信息，边际收益持续递减。
- 数字场景（大模型训练）：RLVR强化学习，很多prompt生成全部答案都对/全部错，得不到有效梯度信号，白跑rollout。
- 物理场景（机器人）：现实世界动作成本极高，不能无限随便试错。
“超级鹦鹉假说 Super Parrot Hypothesis”：AI演进三阶段 1）模仿人类文本；2）可被人类看懂的CoT推理；3）自我编码表征、自我进化，人类看不懂内部逻辑。 AI自己生成越来越多训练数据，挑选哪些自生成交互值得执行变成核心效率难题。
核心研究问题：昂贵的System‑2，能不能在执行之前就知道一个交互到底有没有价值？System‑2自己做不到，因为评估价值本身就很贵。

通俗解读

我们现在遇到收益递减：显卡堆得再多，大量推理、样本、机器人动作都是无效劳动。
比如训练数学大模型，有些题目模型已经全会，反复训练不会学到东西；机器人乱试动作会耗费真实时间。
未来AI会自己给自己造训练数据，这时候更不能不加分辨什么都跑。
但是，让大模型自己判断“这件事值不值得做”代价太高，所以需要一个便宜帮手System‑1。

类比：学生刷题（System‑2）。不要不加分辨刷全部习题；配一个小助手System‑1快速扫题，只挑你薄弱、能提分的题目做；刷完题的结果，让小助手更懂你哪些题该做。

第2章 Conditional Interaction As A Co‑Design Strategy：条件交互，协同设计策略

章节要点

区分静态级联 vs 自适应协同设计
- 静态级联：小模型简单分发任务，大模型干活；小模型不会根据执行结果更新（市面上部分System‑1产品）。
- 论文提出的协同设计：System‑1不只路由请求；System‑2执行完的结果，用来持续训练System‑1；两者联合优化。
定义「条件交互策略」：
- System‑1输出预测效用分数；设置自适应阈值，分数高于阈值才放行给System‑2；可以软采样也可以贪心选最优。
- 效用utility：交互做完能带来多少信息/学习收益，可以是信息增益、风险下降、任务价值，不只有一种定义。
IIE交互信息效率指标：单位系统开销拿到多少有用收益。
- 理想完美筛选：算力节省接近 $1/\rho_u$；
- 如果System‑1会犯错（误杀有用交互、放过垃圾交互），节省效果下降。
主优化目标：带预算约束的分数选择，本质背包问题；要考虑交互的不同成本。
这套方法不是万能的，有适用边界 ✅适合：交互成本昂贵；交互价值参差不齐；可以低成本预判价值。 ❌不适合：交互极便宜；预判成本几乎等于执行成本。 > 必须保留探索机制：遇到分布偏移、预测不准时，要故意执行一部分System‑1判定为“没用”的交互，防止漏重要信息；设置审计采样。

通俗解读

很多现有方案只是“小模型简单分发请求给大模型”，小模型学完就不动了。
本文要求闭环：大模型干活的结果反过来训练小筛子System‑1，让筛子越变越聪明。
同时要算账：筛子本身也要花一点点成本，如果筛子开销太贵，整体反而亏。
筛子不能完全一刀切全部过滤，万一筛子看走眼，把真正关键任务直接扔掉就完蛋。所以要随机保留一小部分被筛掉的任务去执行，用来纠错System‑1。

类比刷题：小助手不能永远只挑它认为的难题；偶尔也要做几道它觉得简单的题，验证自己判断是否出错。

第3章 Co‑Designing the Two Systems：两套系统的架构与协同缩放

章节要点

算子分解：两套系统各自的更新算子：System‑2靠筛选后的交互更新模型；System‑1靠System‑2返回真实结果更新打分预测；两套系统以不同时间尺度迭代。
- System‑1（预测器）更新更快；System‑2（执行大模型）更新慢。
协同缩放Co‑Scaling核心结论：当System‑2变得越来越贵，System‑1最优规模不应该变小，最好适当增大。 System‑2成本越高，花钱提升System‑1准确度的性价比就越高。但论文只给出定性方向，没有给出确切缩放比例，留作实验开放问题。
完整架构4步：表征→预测→门控过滤→学习更新 1）表征：把任务/交互转成向量； 2）System‑1预测价值分数； 3）门控，自适应调节放行阈值，控制放行比例； 4）执行结果回传，更新System‑1；同时保留审计样本。
三类接口：知识接口、表征接口、反馈接口；支持多层级嵌套门控。

通俗解读

System‑2越来越大越来越烧钱的时候，System‑1不能越做越小。
大模型很贵，这时候多花一点点算力把小筛子做得更准，减少大量无效昂贵执行，整体收益很高。
架构流程：把任务转成向量，小模型打分，阈值控制放多少任务给大模型；执行完反馈训练小模型。
同时要分层：可以多层筛子，先筛大任务，再筛子任务。

类比：当补课（System‑2）非常贵的时候，你值得多花一点时间（System‑1）好好筛选哪些补课内容真正对你提分，不要什么课都报。

第4章 What Prediction Buys, and Why a Small System‑1 Can Work：预判带来的收益，为什么小System‑1够用

章节要点

筛选收益（Screening Gain）
- 传统“先全部执行，事后过滤”：所有候选交互全部跑一遍，成本巨大。
- System‑1预判筛选：只给候选做低成本打分，只执行筛选通过的。理想下成本接近 $\rho_u + r$（$r$ 是System‑1打分相对开销）。
- 同时降低内存占用：不需要为海量候选预分配大模型运行内存，只给筛选通过的任务分配。
选择遗憾（regret）理论边界：如果System‑1预测误差足够小，小于交互之间价值差距，筛选几乎不会选错任务；误差变大则损失增加。
从三个理论视角理解这套框架 1）主动推理（信息论）：System‑1预估做完这件事会带来多少信念更新（信息增益），减去成本，决定要不要做。 2）生成模型视角：交互相当于环境/模型状态跳转；System‑1不用完整模拟全过程，只需要预估跳转的价值，所以可以很小。 3）控制理论（模型预测控制MPC）：把整个学习系统看作受控对象；System‑1做规划，只执行最优一批交互，再观察结果重新规划。

通俗解读

老办法：全部任务跑一遍，跑完才知道哪些没用，钱已经烧完了。
新办法：先低成本打分，只跑高分任务。同时内存也省了，不用给海量任务预留大模型显存。
小System‑1*不需要完整模拟整件事会发生什么，只需要输出一个“这件事值不值得做”的分数*，所以可以很小。
这套思想也可以类比控制领域模型预测控制：先预判一批方案，只执行最好那批，拿到真实结果重新预判下一轮。

类比旅游：不用亲自全部景点玩一遍才知道好不好玩；看攻略快速打分，只去高分景点；玩完更新你对景点的认知。

第5章 Conditional Interaction Across Digital and Physical Domains：数字&物理领域的实例

章节要点

数字场景（大模型训练） RLVR推理模型微调：大量prompt生成全部对/全部错，无法产生梯度。过去是生成完再过滤；新工作在生成前预判prompt是否有训练价值，跳过无价值prompt，减少rollout开销。
物理场景（机器人、仿真） 领域随机化：过去随机生成大量仿真任务，很多任务机器人已经掌握；新方法System‑1预判任务的适应风险，优先训练高风险任务。
对比已有工作：和普通主动学习、数据估值不一样。普通主动学习针对静态数据集；本文框架中任务池和模型本身一直在变化，价值会随模型能力改变。

通俗解读

数字例子：训练推理大模型，有些题目模型已经全会，跑再多也学不到东西。System‑1提前识别，直接跳过，不做生成。
机器人例子：仿真环境里，很多任务机器人已经很熟练，反复训练没用；小模型预判哪些任务机器人容易翻车，优先拿这些任务训练。
重点：随着模型变强，同样一个任务的价值会变化，筛子要跟着模型能力持续更新，不能一成不变。

第6章 Conditional Interaction at Test Time：推理测试阶段的条件交互

章节要点

不只是训练阶段！推理上线部署也能用这套System‑1+System‑2架构。

测试时交互定义：推理一步CoT、一次采样、调用一次工具、向环境发起一次动作，都是交互。

测试时算力缩放：不是所有query都需要超长CoT、大量采样。System‑1预判再多做推理还能不能提升答案；收益低于阈值就提前停止推理，节约推理成本。

智能体工具调用：System‑1预判调用工具、提问、思考的信息价值，只有收益大于成本（时间、金钱、风险）才调用，避免无脑频繁调用工具。

给出测试、训练、机器人、智能体4种场景对照表：交互是什么、效用、成本、门控阈值。

风险：局部单步收益低，但多步之后才有巨大收益，单步门控会过早停止；需要考虑延续价值。

通俗解读

上线推理也不要无脑给所有问题拉满最长思考、疯狂调用工具。
简单问题，不需要长思考；System‑1判断“再想也不会提升答案”，直接停止推理，省token和时间。
智能体不要动不动就调用工具；小筛子先判断调用工具能不能带来有效信息，成本值不值得。
坑：有时候单看这一步没收益，但多步之后收益巨大；简单的单步预判会提前终止，要考虑长期延续价值。

第7章 A Testable Scaling Hypothesis, and Open Problems：可验证缩放假设 & 开放问题

章节要点

有效信息算力假说 Informative Compute Hypothesis 传统缩放定律拿总算力C预测模型损失；论文提出应该看有效信息算力 $C_{info}$，也就是真正花在高价值交互上面的算力总和。假设：随着模型变强，$\rho_u$（有用交互占比）会逐步衰减，会解释收益递减现象。理想情况下，使用条件交互的缩放曲线等价于原始曲线向左平移。
最大痛点：选择性标签偏差（Censoring） System‑1决定哪些交互会被执行；只有被放行的交互，才有真实结果反馈用来训练System‑1；被过滤掉的交互没有真值。会出现恶性循环：System‑1认为没用→不执行→永远得不到这个任务真实价值→System‑1永远学不会纠正这个错误。 > 解决方案：审计采样，强制小部分被筛掉任务执行；使用逆概率加权修正偏差。
一系列开放问题
- 测量 $\rho_u$ 真实衰减曲线，是最重要实验；
- System‑1与System‑2最优算力配比；
- 多智能体环境，交互价值取决于多个智能体联合信念；
- 探索和利用之间如何平衡。

通俗解读

现在研究缩放，只看“总共烧了多少显卡算力”。论文说这不够，要看真正花在有用任务上的算力。
模型越来越强之后，值得学习的任务会越来越少，$\rho_u$下降，这就是收益递减的来源之一。
最大坑：筛子过滤掉的任务，你永远不知道它真实价值。筛子误以为没用，就永远不会执行，永远得不到反馈，错误一直保留。
解决办法：强制拿一小部分被筛掉的任务跑一遍，当作审计样本，用来纠正System‑1。
未来实验关键：实际测量 $\rho_u$ 如何随模型能力变化；找System‑1和System‑2的算力黄金配比。

第8章 Conclusion 总结

章节要点

AGI下一阶段进步，重点是System‑1与System‑2协同设计，而不是单纯放大System‑2。
条件交互闭环（预测‑门控‑执行‑更新）统一覆盖训练、推理、机器人、智能体工具调用。
这套方案适用前提：交互昂贵、价值参差不齐、价值可以低成本预判；不是万能方案。
最重要下一步实验：实测 $\rho_u$，对比用总算力 vs 有效信息算力的缩放曲线。

通俗解读

通往AGI不只是拼命把大模型做更大。我们要做一套组合：便宜预判筛子System‑1 + 昂贵干活System‑2，形成闭环。
前提：任务交互成本高，并且可以低成本预判价值。
未来最关键的实验：去实际测“有用交互密度 $\rho_u$”，检验用有效算力能不能比总算力更好解释模型性能增长。

附录A：数学证明

一堆定理严格证明：筛选效率、内存界、选择遗憾边界、测试时间界、协同缩放等数学推导。

附录B：数字/物理场景获取函数

收集论文中各类任务打分目标函数（提示采样、机器人风险预估、多样性采样等）。

全文一句话大白话总结

现在做大模型就是使劲堆昂贵大模型System‑2，但很多任务/推理步骤是垃圾消耗算力；我们要搭配一个轻量System‑1当预判筛子，只让真正有价值的任务消耗昂贵算力；干完活结果反过来训练筛子，整套闭环可以同时用于训练和上线推理；未来衡量AI缩放，要看真正产生价值的算力，而不是总算力。

[LS] How Legora Built a $100M ARR Legal AI Business — CTO Jacob Lauritzen | 看不见数据的困局：Legora CTO揭秘如何为法律行业构建AI智能体

cognitalk — Tue, 03 Nov 2026 14:58:02 +0000

https://www.youtube.com/watch?v=bJBEFzlKPoQ

看不见数据的困局：Legora CTO揭秘如何为法律行业构建AI智能体

一、通俗易懂的整体解释

这篇采访的主角是法律科技公司Legora的首席技术官Jacob Lauritzen。简单来说，这家公司正在为律师打造一个超级智能的AI助手。想象一下，以前律师需要花大量时间翻阅堆积如山的文件、查找过往案例、起草合同，这些繁琐又耗时的工作现在可以交给这个AI助手来完成。

采访的核心观点是：

AI不是要取代律师，而是要让他们更强大。 就像程序员有了高级编程工具一样，律师可以利用AI从重复性劳动中解放出来，专注于更有价值、更需要判断力和策略性的工作，比如与客户沟通、评估风险。
关键在于产品和数据安全。 Legora的成功不仅仅是因为用了强大的AI模型，更在于他们围绕律师的实际工作流程，构建了像“表格审查”这样好用的功能。同时，因为处理的是极其敏感的法律文件，他们把数据安全和隐私保护放在首位，甚至因此选择了微软Azure云服务。
行业正在被重塑。 传统的按小时收费模式可能会改变，律师事务所的组织结构也可能面临调整。未来的律师可能不再是一个庞大的金字塔结构，而是由少数精英配合强大的AI工具组成的高效团队。

总之，这篇文章描绘了一幅AI深度融入专业法律服务，从而提升效率、降低成本、改变行业格局的未来图景。

二、详细分段与要点

第一部分：开场与公司文化（0% - 8%）

嘉宾介绍与名字趣谈
- 介绍了嘉宾是Legora的CTO Jacob Lauritzen。
- Jacob解释了其丹麦姓氏的含义，“sen”是“son of”的意思，所以Lauritzen就是“Lauritz的儿子”。
独特的欧洲谦逊文化
- Jacob认为Legora的文化根源是欧洲式的谦逊。因为他们从一开始就是“弱者”（underdog），没人相信斯德哥尔摩地下室的一个小初创公司能击败美国那些巨头。
- 这种“为生存而战”的经历塑造了他们低调务实的作风。
- 随着进入美国市场，他们也在学习如何更大胆地展示自己的实力，但这并非他们的天性。

第二部分：产品演变与技术核心（8% - 25%）

产品的起点与演进
- 最初的产品非常简单，就是一个嵌入了瑞典法律的ChatGPT加上一个搜索工具。
- 核心功能是“法律研究”，帮助律师快速找到相似案例和法律先例。
- 后来，产品从一个简单的问答助手演变成了一个功能强大的“智能体”（Agent）。它可以起草文件、编辑Word文档、整理文件、运行复杂的分析。
两大核心产品支柱
- “表格审查”（Tabular Review）： 这是一个行业首创的功能，用于批量提取和审查大量的协议（例如在尽职调查中）。它能极大地提高效率。
- “工作流编排”： 除了完成具体工作，Legora还帮助律师组织和协调工作。这包括“列表”（Lists，类似项目管理系统）、“接收”（Intake，一种与客户协作的方式）和“门户”（Portal，律师之间、律师与客户、律师与智能体之间的协作方式）。
模型的选用策略
- Legora会根据不同的任务使用多种模型（如Anthropic的Claude、OpenAI的GPT等）。
- 他们会在智能体中提供一个“模型选择器”，让用户自行选择，但也会在后台为特定工具（如表格审查）优化模型。
- 他们认为，大多数法律工作并不需要最顶级、最昂贵的模型（如当时传闻中的“Mythos”级别）。提供更多选择主要是为了满足部分用户的控制欲，但代价是消耗更多的积分。

第三部分：模型评估与团队构成（25% - 40%）

建立专业的评估团队
- Legora有一个专门的评估团队，由工程师和律师混合组成，共同追踪不同模型在不同法律领域和任务上的表现。
- 他们会构建复杂的评估环境，例如模拟一个有1万个文件的数据库，要求AI完成尽职调查报告，然后评判报告的质量、是否包含正确的危险信号等。
- 他们发现，模型更新并不总是带来全面的进步，有时会提升某些能力，却在另一些方面出现倒退。
“法律工程师”的独特价值
- 他们雇佣了一种特殊人才——“法律工程师”。这些人通常有在大型律所工作3-4年的经验，并且拥有计算机科学学位。
- 这类人才非常难招，但作用巨大。他们既是评估专家，也是产品开发者，还能与客户沟通，是团队的“力量倍增器”。
评估工作的早期策略
- 在早期，他们并没有投入大量精力做复杂的评估，因为当时模型进步太快，每次更新都能自动解决很多问题（例如引用不准确的问题从70%的正确率提升到99%）。
- 他们将更多精力放在构建更好的产品框架上，而不是死磕模型本身。

第四部分：行业洞察与未来展望（40% - 55%）

对未来法律职业的预测
- Jacob认为，可以借鉴编程行业的发展趋势。律师将变得更具生产力，能以更低成本提供更高质量的服务。
- 律师会将更多时间投入到他们当初选择成为律师时所期望的工作上：运用判断力、制定战略、与客户合作，而不是在堆积如山的文件中寻找线索。
对律所合伙人模式的思考
- 他认为，合伙人模式之所以存在，是因为律所唯一的资本就是人力资本，而合伙制能让核心人才成为所有者，从而留住他们。
- 未来，律所需要建立一种“无形资产”，比如一套能够学习和固化律所工作方式的系统（例如自我改进的知识图谱）。这将成为律所的IP。
- 这可能会改变现有的激励结构，合伙人需要被激励去“编码化”他们的知识，为公司创造资产。
初级律师与助理的未来
- 主持人认为，就像编程行业一样，初级律师和助理可能会消失。但Jacob不同意，他认为实际情况并非如此。
- 他类比编程行业，优秀的初级员工因为有了AI工具的加持，能产出更多价值，因此反而变得更值钱了。行业会变得更加“两极分化”，优秀的人会更出色。

第五部分：商业模式变革与客户差异（55% - 65%）

从按时计费到项目定价
- 传统的按小时收费模式正在受到压力。Jacob提到，许多低端工作已经开始采用项目固定费用，甚至免费提供服务，以此来维护客户关系。
- 利润来源转向更高价值的“战略工作”，如并购（M&A）和诉讼。
“超级AI助理”的新角色
- 讨论了一个新角色的诞生，即“法律工程师”或“超级AI助理”。他们不再是简单的“人工代理”，而是精通使用AI工具集的专业人士。
- 例如，通过“表格审查”，过去需要一个团队通宵达旦完成的工作，现在一个人就能轻松搞定。这些人可以去做更有意义的事情，或者干脆睡个好觉。
欧美客户的差异
- 美国客户： 行动迅速，对定制化有极高的热情，希望与Legora一起构建专属的大型系统。
- 欧洲客户： 相对保守，更倾向于使用现成的标准化产品，但也会积极提供产品反馈。

第六部分：数据安全与模型部署的挑战（65% - 75%）

无法查看用户数据的痛苦
- 由于法律数据的极端保密性，Legora完全无法查看用户在使用产品时的任何痕迹和数据。这对产品开发和分析来说是巨大的挑战。
- 他们只能通过在线问卷等方式来近似估算用户的行为和满意度。
数据隐私驱动的技术选择
- 为了获得律所的信任，Legora将所有基础设施都部署在微软Azure上，因为律所已经习惯了使用微软的Office 365，并认可其安全性。
- 他们对第三方供应商的数据处理协议管控得非常严格，只有少数几家大厂（如微软、谷歌、OpenAI）符合要求。这也是为什么他们没有使用ElevenLabs（一家语音合成公司）的原因。
开源模型与多模型策略
- 对于开源模型，他们的策略是将其作为“帕累托前沿”的一部分，为客户优化成本、延迟和治理需求。
- 他们会针对特定任务使用不同的模型，例如发现早期的Gemini模型在转录和说话人识别上表现出色。
- 即使是最好的语音转文字模型，在处理法律领域的专业术语（如“cloud code”）时也常常出错，需要后处理来修正。

第七部分：核心产品详解与工程哲学（75% - 90%）

“表格审查”的用户体验
- 以尽职调查为例，用户可以上传1万份劳动合同。每一行是一份合同，每一列是一个问题（如“终止期是多少天？”）。
- AI会自动填充整个表格。用户还可以让智能体自动执行此操作，分析结果并高亮显示危险信号，甚至可以起草一份备忘录。
- 表格形式因其直观、易于概览和协作的特点而被选中。它支持单元格级注释和引用回源文件。
“接收”功能：不止是个Slack机器人
- 它的作用是创建一个“工单”系统。客户或同事可以通过Slack发送请求，该请求会被转化为一个任务添加到Legora的“列表”中。
- 律师可以在Legora内部管理这些任务，指派智能体去处理，完成后直接回复。这简化了沟通流程。
核心原语的力量：“列表”
- “列表”是Legora的核心原语，类似于Notion数据库，非常灵活。
- 它可以配置触发器、自动化流程，实现“智能体群”的协同工作。例如，列表可以触发智能体运行，智能体也可以创建和读取列表。
- 这种灵活性不仅服务于终端用户，更重要的是，它允许内部的“法律工程师”快速构建定制化的新产品（如基金仪表盘），无需编写大量代码。
前向部署工程师的角色
- 对于大型客户，Legora会派出“前向部署工程师”（通常是YC创始人级别的资深工程师）和“法律工程师”一同入驻。
- 法律工程师负责配置产品（像高级用户一样，不写代码）。
- 前向部署工程师则负责编写生产级代码，进行复杂的集成，或扩展现有API。
- 这种模式类似于Palantir，但仍在早期探索阶段。

第八部分：模型微调、工程挑战与竞争策略（90% - 100%）

模型微调的策略
- 直到近期，Legora都没有微调过自己的模型，因为前沿模型足够好。
- 现在，他们开始针对特定、边界清晰的任务（如法律研究中的检索）微调开源权重模型，以追求更低的成本和延迟。
- 但他们不会试图训练自己的主力模型（如另一个Claude），因为他们认为无法在与Anthropic这样的公司的竞争中获胜。
搜索与“驾驭”的重要性
- 他们认为，在很多情况下，改进搜索架构和“驾驭”（Harness）系统比训练模型本身更能立竿见影。
- 一个好的“驾驭”系统包含了法律工作流的方方面面：如何编辑文件、进行分析、进行法律研究，以及所有相关的治理和安全措施。
关于模型能力的看法
- 起草能力： 认为Anthropic的模型过于冗长，而Google的Astra模型则更加简洁。
- 幻觉问题： 他们建立了多层引用系统，确保AI的输出都有据可查，用户可以一直追溯到原始PDF文件。
- 长文档推理： 这是当前模型的一大痛点。对于超长的合同，他们不会一次性输入，而是将其分解，并通过编排来逐步修改。
竞争格局与未来
- Jacob认为，像Claude这样的通用AI助手可能会抢走一些小型客户的业务，但对于价值4亿美元的并购交易，客户一定会选择Legora这样深耕行业的专业平台。
- 他不担心被基础模型提供商切断合作，因为对方的目标是广阔的“知识工作”市场，而法律只是其中一小块，他们不会也无法做到像Legora这样深入。
- 最后，他提到了招聘计划，正在纽约、斯德哥尔摩和伦敦大力扩张团队，以满足市场需求。

What Becomes Scarce When AI Flows Like Water and Electricity? | AI普惠时代，什么最稀缺？

cognitalk — Tue, 03 Nov 2026 00:57:09 +0000

AI普惠时代，什么最稀缺？

Start Question：

** 很多人问‘llm ai让智能像自来水、电力一样打开‘龙头/电闸’ 就能流过来’，就是很快普及，那么之后什么是稀缺的呢最又价值的呢？ ‘执行力？’，具身智能？ **

Answer

先把前面三条脉络收在一起，再回答这个问题，这个类比才不会飘：

铁路：物质的运输能力变成普惠底座之后，稀缺的不是“运东西”，而是值得被运输的标准化商品、品牌、分销合约、需求理解
电网：能量的供给能力变成普惠底座之后，稀缺的不是“有电”，而是懂得用电的设备、工艺、产品、内容、组织流程
光纤互联网：信息传输能力普惠之后，稀缺的不是“带宽”，而是可信信息、注意力、服务、交易履约
LLM 作为“智能自来水”：通用语言推理、知识调用、基础生成能力变成按流量计费、随开随用的公用基础设施；稀缺的不再是“能不能聊天、能不能写文案、能不能做基础推理”。

一句话结论：
当通用智能变成自来水，稀缺的不是智能本身，而是把智能锚定到真实世界、并承担后果的闭环能力。
执行力、具身智能只是其中一大分支，但不是全部，甚至不一定是短期最值钱的。

下面分层拆开，并且区分【短期（3–5年）】、【中长期（5–15年）】，再单独辨析：执行力、具身智能到底处在什么位置。

一、先定义清楚：“智能自来水”到底抹平了什么？

自来水 ≠ 你家里的热水器、洗碗机、灌溉系统；
电力 ≠ 冰箱、汽车、流水线、广播节目；
LLM 底座 ≠ 解决方案。

它抹平的是：

基础文本理解、总结、翻译、改写、简单逻辑、检索增强、基础代码、基础规划的边际成本；
任何人不用自己养大模型、不用攒算力，调用 API 就有。

凡是纯在符号空间里、只在文本/虚拟信息层面的工作，供给会爆炸、价格内卷、快速商品化：写初稿、做摘要、写简单脚本、基础问答、简单SQL、通用PPT大纲。这些很快变成“水电”，利润被压薄。

所以稀缺性，全部落在「符号世界」和「真实世界」的接口上。
接口分四大类：意图、事实/可信性、履约、物理世界交互。

二、第一大类稀缺：不是执行力，是【明确、稳定、可验证的意图 + 价值判断】（短期最值钱）

很多人会误以为缺执行力，其实很多时候，连“到底要做什么、做到什么标准、什么算好、风险红线在哪”都说不清楚。
LLM 擅长顺着你的提示去执行，但它不自带你的目标、偏好、取舍标准、风险偏好。

企业：到底要优化哪个指标？成本？交付周期？合规？客户长期满意度？指标之间怎么权衡？
个人/机构：什么信息可信？哪些风险不能碰？失败的代价谁承担？

这一块的价值载体，通常叫：

领域评价函数 / 价值函数（Reward）：不是泛泛的人类偏好，是一个行业里经过长期沉淀、隐性、不可言说的好坏标准。
领域校验体系、真值库：行业里真实结果、历史案例、失败案例、边界案例。 > 类比电力时代：电随便买，但知道怎么设计一条产线、定义良率标准、定义故障边界，是稀缺的。 > 类比铁路时代：运费很便宜，但知道造什么商品、品牌调性是什么、哪些市场不能进，是稀缺的。

这个东西，很多时候包装成行业专家、产品专家、领域负责人、评估系统、红队体系。
哪怕AI能干活，定义验收标准的人/系统，依然在价值链上游。

三、第二大类稀缺：【可信事实、可确权、可追溯的知识与资产】（非常硬的稀缺）

LLM 的天然短板：幻觉。
当智能唾手可得，“这句话是不是真的、来源是什么、能不能追责”溢价会持续走高。
不是知识本身稀缺（网上到处有），而是：

经过审计、版本化、权责清晰的私有知识库；
可溯源、有责任人、有错误赔付机制的事实源；
受法律保护、确权的专有数据（客户合同、病历、工程图纸、交易日志）。

普通公开互联网文本，会越来越不值钱；带责任背书的结构化真值越来越贵。
配套的生意：知识治理、事实校验、审计链路、版本管理、证据检索。

自来水人人有，但经过质检、可溯源、承担污染责任的供水体系，是公用事业监管的核心。

四、第三大类稀缺：【执行力：数字世界里的可靠履约智能体】（你提到的执行力）

这里要区分两个东西：

单纯的文本规划：LLM 自己就能做，很快内卷；
闭环执行智能体 Agent：规划 → 调用工具（API、数据库、SaaS、ERP、CRM）→ 观察结果 → 纠错重试 → 上报异常 → 记录审计日志。

这个才是你说的“执行力”。
它稀缺的地方不在 LLM 大脑，而在：

稳定、安全的工具接口；
权限模型、权限隔离、回滚机制；
异常处理流程、失败兜底、人工熔断点；
和企业存量系统的适配（SAP、财务、工单、供应链）。

这种 Agent 不是“更聪明的大模型”，而是一套围绕大模型的操作底盘、权限底盘、业务规则底盘。
同一个 LLM，套上不同行业的执行底盘，价值天差地别。

短期来看，数字履约智能体，比具身智能变现更快、价值更大。因为它不用碰物理硬件，复用现有数字化系统。

五、第四大类稀缺：【具身智能：物理世界的履约】（中长期大赛道，但门槛完全不一样）

具身智能（机器人、自动驾驶、工厂机械手、巡检、家用机器人），是【执行力】的物理版本：
它不再只是调用软件API，而是操纵物理对象，在非结构化物理环境里感知、行动、承担物理风险。

为什么它稀缺，而且比纯软件Agent难得多？

物理世界是高噪声、非标准化、不可预测的；文本世界可以重试，物理世界操作错了会撞坏设备、伤人、炸掉一批货；
硬件成本、动力、传感、维护、环境容错是硬约束；
物理动作的真值很难采集，数据采集成本远高于文本；
责任边界极重：机器人做错了谁赔？

对齐我们前面的历史类比：

LLM = 电力；
软件Agent = 电机、自动化流水线；
具身机器人 = 带感知、自主决策的移动机器。

但这里有一个关键判断：
具身智能不是“智能自来水”自然溢出的赢家。电力普及之后，最先爆发的不是机器人，而是家电、广播、流水线。
同理，通用大模型普及之后，最先爆发的是软件Agent、业务自动化、知识工作的重构；具身是后面一波，硬件、安全、合规、成本拖慢它。

六、还有一类超级稀缺：【注意力、信任、关系、身份】（很多人漏掉）

当 AI 可以无限生成内容、无限写邮件、无限发消息，人的注意力变成最刚性的瓶颈。
人人都可以低成本产出智能内容，但别人愿意相信你、愿意回复你、愿意和你交易，这件事不会因为AI变便宜而变容易。
品牌、可信身份、长期关系、社群信任，这套东西和铁路时代的可口可乐逻辑高度同源：
物流通了，无数小厂都能铺货，但能占领心智、建立信任的品牌很少。
未来：人人都有AI助手帮你发消息推销，但客户只会回应少数可信主体。

七、把几条主线浓缩成一张对照（方便你记忆）

底座基础设施	底座抹平的稀缺	之后新的稀缺	代表赢家
铁路网	长途货运能力	标准化商品、品牌、分销、大宗商品组织	可口可乐、斯威夫特、西尔斯
电网	能量供给	适配电力的设备、工艺、内容、城市组织	GE家电、福特流水线、NBC广播
光纤互联网	信息传输	可信内容、交易履约、平台、注意力	Google、亚马逊
LLM智能自来水	通用符号推理、生成	价值/验收标准、真值、Agent数字履约、信任、具身交互	行业Agent平台、知识审计、垂直评估体系、长期看机器人

八、一个很重要的避雷：不要把“稀缺”等同于“最贵”

通用大模型本身会变成薄利公用事业（类似电网公司，赚稳定监管收益，不是暴利）；
最暴利、最差异化的，是绑定特定领域闭环的那一层：领域评价标准、业务履约链路、物理操作闭环；
纯提示词、纯通用prompt工程，很快会商品化，不值钱。

九、回到你的问题一句话总结

当 LLM 变成像水电一样随取随用的通用智能：
短期最稀缺值钱的，不是“智能”本身，也还不是具身智能；而是定义目标与好坏标准的价值体系、可审计的事实真值、以及能安全稳定在现有软件系统里完成闭环的数字Agent执行力。
具身智能是中长期更大、更硬核的稀缺赛道，但它叠加了物理世界的巨大摩擦，会慢于纯数字Agent的爆发。

Deep Dive into LLMs like ChatGPT by Andrej Karpathy | 大语言模型（如ChatGPT）深度解析：训练全流程、底层原理、缺陷与未来发展

cognitalk — Sun, 01 Nov 2026 09:28:28 +0000

https://www.youtube.com/watch?v=7xTGNNLPyMI

大语言模型（如ChatGPT）深度解析：训练全流程、底层原理、缺陷与未来发展

一、通俗易懂整体解读（类比+关键比方）

这篇是面向普通大众的科普视频文稿，完整拆解大模型从0到能用的全部过程，可以用学生上学整套流程来做通俗类比：

预训练 = 海量泛读课外书：把互联网海量网页文本清洗处理，喂给神经网络。就像学生疯狂读全网的文章、百科、新闻，不做题，只学习语言文字的行文规律、世界知识。产出叫基座模型，只会自动续写文字，不会当聊天助手。

比方：基座模型≈一个看过全网海量资料，但没人教它怎么回答问题的复读机，你输入半句话，它只会顺着往下续写网页风格文字，不会听懂你的提问。
有监督微调SFT = 做带标准答案的例题：给模型投喂大量「人类提问+人类标注员写好的理想回答」对话样本。相当于给学生看大量“提问‑标准答案”例题，模仿人类助手说话风格，从文本续写机器变成会聊天的助手。
强化学习RL分两类
- ①可验证任务强化学习（DeepSeek‑R1这类思考模型）=做有唯一标准答案的练习题：比如数学题，模型自己生成多种解题过程，只保留算出正确答案的路径，反复练习。模型会自己摸索思考步骤，学会分步推导，会自我检查验算，就像学生刷题，自己试错，总结好用解题思路，甚至摸索出人想不到的解题方法（类比AlphaGo围棋神之一手）。
- ②RLHF人类反馈强化学习=没有标准答案的主观打分：写笑话、写诗歌没有绝对正确答案。没法直接判断好坏，就训练一个“打分模拟器（奖励模型）”模仿人类的喜好打分。缺点是模型会钻模拟器漏洞，生成看起来高分实际毫无意义的内容，不能无限训练。
模型天生的各类缺陷（瑞士奶酪模型）：模型知识就像一块满是孔洞的瑞士奶酪，绝大多数领域很强，但随机会出现低级漏洞。会幻觉编造事实；不会直接看见字母，靠token文本块处理文字；单步算力有限，不能一步算出复杂计算，要拆分多步思考；分不清自己到底知不知道某些知识。

比方：模型不是真的“懂”，本质是超级高级的文字概率摇号机，根据前面一大段文字，统计摇出下一个最合理的文字片段（token），一步一步拼出完整回复。没有真正自我意识、没有记忆，每次对话都是重新启动计算。
工具使用（联网搜索、代码解释器）：模型内部参数里的记忆是模糊回忆；把搜索结果、代码运行结果塞进上下文窗口，相当于“临时草稿纸/工作记忆”，直接读取现成资料，减少瞎编幻觉。
未来发展与现状：多模态（图文音频转成token统一处理）、AI智能代理、测试时学习；同时给了普通人去哪里体验各类大模型的渠道。

二、视频文稿分段详细要点（按token占比估算时间百分比）

第（一）部分 **视频开篇引入：我们到底在和什么对话（0%‑7%）
1 视频创作初衷与核心目标
- 这是面向普通大众的科普内容，目标是建立理解LLM（ChatGPT这类大语言模型）的思维模型；大模型既有强大魔法般能力，也有短板与很多风险坑点。
- 核心要解答的问题：聊天框背后系统是什么？输入文字之后发生了什么？生成回复原理？我们实际交互的对象本质是什么。
- 视频会完整拆解大模型整套构建流水线，同时讨论这套技术带来认知、心理学层面的引申思考。
2 整体构建流程总预告
- 搭建类似ChatGPT的模型分为多个顺序执行大阶段；第一个大阶段是预训练。

第（二）部分 **预训练第一环节：互联网数据下载与清洗处理（7%‑22%）
1 数据集来源：Common Crawl互联网爬虫
- Common Crawl从2007年就持续爬取全网网页；2024年已经索引27亿网页；从种子网页出发不断跟随链接抓取网页原始HTML源码。是绝大多数大模型训练数据原始起点。
- HuggingFace的Fine‑Web数据集是工业级代表数据集；OpenAI、Anthropic、Google等大厂内部都有同类数据集。
2 数据集的核心目标
- 获取海量、高质量、多样性强的公开互联网文档，把世界知识装进模型；但原始爬虫数据极其脏，必须多轮过滤。Fine‑Web最终处理完仅44TB文本。
3 多层过滤清洗流水线
- URL过滤：黑名单过滤恶意网站、垃圾广告、种族仇恨、成人内容等域名，直接丢弃整站数据。
- 文本提取：剥离HTML标记、CSS、导航栏，只提取网页正文有效文字内容。
- 语言过滤：语言分类器识别网页语言；Fine‑Web只保留大于65%英文的网页；这里是产品设计选择，如果过滤掉小语种，模型对应语言能力会变差；不同厂商对多语言支持取舍不一样。
- 去重、PII个人敏感信息移除：过滤地址、社保号等个人可识别信息，删除高度重复网页内容。
4 清洗完成之后的数据形态
- 处理完成后就是大量纯互联网正文文本；Fine‑Web约15万亿token；把海量网页全部拼接，得到超长一维原始文本流，作为神经网络训练原料。

第（三）部分 **文本转为token：分词（Tokenization）原理详解（22%‑34%）
1 为什么不能直接用字符/二进制比特输入神经网络
- 神经网络需要：固定有限符号集合 + 一维符号序列。
- UTF‑8二进制只有0/1两个符号，会让序列变得极长，算力开销爆炸；8比特字节得到256个符号，序列缩短，但仍然不够高效。
2 字节对编码BPE算法原理
- BPE反复合并出现频率最高的连续符号，创造出新ID符号；不断扩大词表、缩短总序列长度。
- GPT‑4词表大小为100277个token；token不是完整单词，是文本碎片，可以是单词、片段、标点、空格。
3 tokenizer实操演示现象
- 大小写、空格数量变化，都会改变token拆分结果；同一个单词可能拆成多个token。
- 工具：tiktoken网页工具可以可视化文本转token；token只是唯一数字ID，数字本身没有含义。
4 关键认知：模型看不见人类眼里的字母
- 大模型输入输出全部操作对象是token碎片，不是原始字符；这会后续带来拼写、计数任务的天生缺陷。

第（四）部分 **预训练核心：神经网络训练过程、Transformer架构（34%‑54%）
1 预训练的核心任务：下一个token预测
- 从超长token序列随机截取上下文窗口（上下文窗口长度是模型超参，受算力限制）。
- 把窗口内一批token作为输入（上下文context），神经网络输出完整词表每个token的发生概率；目标：提升真实出现的下一个正确token概率，压低其他token概率。
- 模型初始化权重全部随机，一开始输出完全瞎猜；通过大量批次样本反向传播微调权重，不断降低loss损失值。loss数值代表预测好坏，loss越低预测越准。
2 神经网络参数（权重）的通俗类比
- 参数就像大量旋钮；训练就是不断拧旋钮，让模型输出贴合互联网文本统计规律；现代大模型拥有数十亿‑数千亿参数。
- 神经网络本质一套固定数学运算：乘法、加法、激活函数等；不是人脑生物神经元，无内置记忆，是无状态数学函数。
3 Transformer架构内部组件介绍
- 输入先做token嵌入：把token数字ID转为向量表示；
- 内部模块：层归一化、多头注意力模块、MLP多层感知机；信息单向流动，得到输出logits，经过softmax得到每个候选token概率。
- 对比人脑生物神经元：Transformer的“神经元”非常简化；人脑是复杂动态记忆系统，Transformer只是静态数学计算。
4 训练硬件与算力成本
- 不能普通笔记本训练；需要GPU（英伟达H100），擅长矩阵并行运算；多GPU、多节点组成数据中心集群。
- 举例：GPT‑2，1.6B参数，1000亿训练token；2019训练成本4万美元，现在复刻仅几百美元。
- 训练时监控loss损失值，每轮更新使用大批量token；训练中途会跑推理，看模型生成文本质量，训练初期输出是乱码，随着step增加逐步通顺。

第（五）部分 **推理Inference：基座模型如何生成文本；GPT‑2、Llama3.1基座模型实操演示（54%‑70%）
1 推理生成流程（采样）
- 推理阶段权重参数完全冻结，不再训练；用户输入前缀prompt转为token序列送入模型。
- 拿到概率分布，按概率随机采样下一个token；把新token追加回上下文，循环往复不断生成。
- 属于随机（随机种子采样），相同输入会得到不同输出；生成的文本是训练数据统计上的“混搭重混”，不会完全照搬原文，但存在记忆复述（复述训练集原文）现象。
- ChatGPT网页端全部运行推理，不会现场训练模型。
2 基座Base模型是什么，有什么特点
- 预训练结束产出就是基座模型，本质互联网文本token模拟器，不是聊天助手。
- 开源例子：GPT‑2、Llama3.1‑405B Base；需要两样东西才能复现：网络架构代码 + 全部参数权重文件。
3 基座模型各种实操现象演示
- 直接提问数学问题，不会正确回答，只会续写网页文本；同样prompt多次输出不一样，具有随机性。
- 知识存储：数十亿参数是互联网的有损压缩，不是完整数据库；高频信息记忆更准，低频信息模糊。
- 现象1：记忆复述：输入维基百科片段开头，基座可以大段背诵维基原文（复述regurgitation）；如果样本反复出现在训练集，模型就会记住原文。
- 现象2：幻觉虚构未来/截止时间之后信息；知识存在截止时间，对于没见过事件，按照统计猜文本，编造内容。
- 现象3：In‑context Learning上下文学习：few‑shot少样本提示，给几个示例，基座模型可以现场模仿模式完成翻译等任务，不需要改权重。
- 现象4：通过精心写prompt模拟对话格式，可以强行让基座临时扮演AI助手，但很不稳定，容易跑偏。

第（六）部分 **后训练阶段1：有监督微调SFT，把基座改造为对话助手（70%‑82%）
1 什么是Post‑training后训练
- 预训练消耗绝大部分算力；后训练算力开销小，但决定模型能不能当好用助手；包含SFT监督微调、后续强化学习。
2 SFT监督微调原理
- 不再使用互联网文本数据集；替换为大量人类对话数据集：「用户提问‑理想助手回答」多轮对话样本。
- 算法和预训练完全一样，仍然做下一个token预测，只是训练数据换成对话；训练时间很短（几小时级别）。
- 对话不能直接喂给模型，要设计特殊协议：特殊token、分隔符，把结构化对话，序列化转换成一维token流。不同大模型对话格式协议各不相同。
3 对话数据集如何构建
- 参考InstructGPT工作；雇佣人类标注员，公司提供数百页标注指南，要求回答做到：有用、真实、无害，拒绝有害请求。
- 标注员撰写prompt，同时写出理想回复；现代数据集不完全手写，大量使用现有大模型生成初稿，人类再编辑修改；数据集可以几十万到数百万条对话。代表数据集Open‑Assistant、Ultra‑Chat。
4 SFT模型本质的通俗理解
- 模型不是产生全新智慧，是统计学模拟遵循公司标注指引的人类标注员；
- 如果提问没出现在训练集，就模仿训练集里面回答的风格、模式，结合预训练学到的世界知识生成回复。

第（七）部分 **大模型的“认知心理”：幻觉成因与缓解方案（82%‑92%）
1 幻觉Hallucination产生底层根源
- 模型只是预测下一个token的统计机器；训练数据中“who是XXX”这类提问全部附带自信完整回答。
- 即便模型内部某些神经元表征“不确定”，SFT训练没有教会模型把内部不确定性映射输出为“我不知道”，所以哪怕不认识人物，模型也会自信编造一整套答案。
2 缓解幻觉第一套方案：加入“我不知道”样本
- 方法：主动探测模型知识库；拿文档生成问题，多次提问模型，如果模型答不对，就新建对话样本，标准答案写“我不知道”。
- 把这类样本加入微调数据集；教会模型把内部不确定性状态和口头拒绝回答关联；Llama3系列使用该策略，大幅降低幻觉。
3 缓解幻觉第二套方案：工具调用（联网搜索、代码解释器）
- 区分两套记忆：①参数里的知识 = 模糊长期回忆；②上下文窗口context window = 模型的工作记忆/草稿纸，里面的内容模型可以精准读取。
- 新增特殊功能token，模型输出特殊标记就触发外部工具；比如web搜索：模型生成搜索query，系统调用搜索引擎把搜索结果塞回上下文窗口。
- 代码解释器同理：模型输出代码交给Python解释器运行，把运行结果放回上下文，靠外部程序做算数、计数，规避模型原生的计算短板。
4 自我认知相关缺陷
- 模型没有真实自我、没有持久身份；每一轮对话上下文都是独立重启。
- 不做特殊数据/系统提示工程的话，模型会胡乱编造自己是谁；两种修复手段：①训练集加入大量自我介绍对话样本；②对话开头插入隐藏system系统提示token。

第（八）部分 **大模型推理的底层限制：模型需要token来思考（92%‑97%）
1 每一个token前向传播算力有限
- Transformer每生成单个token，网络层数有限，单次前向运算算力是有限上限。不能指望单步token完成极度复杂推理运算。
2 数学推理训练数据标注的大坑
- 标注数学题，如果直接写“答案=3”一步给出结果，是坏样本；这会强迫模型试图在单个token内完成全部计算，现实中模型做不到，会大幅降低做题能力。
- 优质样本要把思考过程拆解，输出大量中间步骤，把计算分摊到一串token上面，每一步只做简单运算。中间步骤不是写给人看，是给模型自己“思考”用的。
3 多类原生缺陷案例
- 数学计算：数字变大，如果强制模型一步输出答案就容易错；允许输出中间步骤准确率提升；最稳妥直接调用代码工具。
- 计数任务：模型看到的是token碎片不是原始字符；计数容易出错，交给代码执行。
- 字符操作任务（隔N个取字母）：受token切割影响，原生模型表现差，优先代码工具。
- 奇怪随机漏洞举例：9.11与9.9大小比较；模型会受训练集中圣经章节标记的干扰，出现反直觉低级错误。
4 瑞士奶酪能力模型观点
- 大模型整体能力极强，但到处随机存在漏洞缺陷；不要完全信任输出；优先当做工具，关键内容必须人工校验。

第（九）部分 **后训练阶段2：强化学习RL，可验证任务推理模型DeepSeek‑R1案例（97%‑112%）
1 类比教科书学习三阶段
- 预训练：阅读全书背景知识（ exposition）
- SFT监督微调：看专家写好完整例题解答
- 强化学习RL：做练习题，只给最终参考答案，不给中间解题步骤，让模型自己试错探索解法
2 可验证任务强化学习完整流程（数学、代码，答案客观可核对）
- 输入prompt，让模型随机采样生成大量不同完整解答路径；
- 自动判断哪些解答得到了正确答案，哪些错误；
- 拿表现好的解答序列继续训练模型；模型自己摸索什么样token路径更容易拿到正确结果。
- 关键点：不需要人类写完美中间思考步骤，思考策略是优化过程中涌现出来的，人类很难预先设计这套思考话术。
3 DeepSeek‑R1论文实验现象
- 随着RL训练步数提升，数学解题准确率持续上涨；模型输出回复平均长度增加。
- 模型自发涌现出思考行为：自我复盘、回退步骤、多角度验算，就是“思考链”；这些行为不是硬编码写进训练集，是优化中自发长出来。
4 类比AlphaGo围棋强化学习
- 仅模仿人类棋手（监督学习）能力存在天花板，无法超越人类；
- 强化学习自我对弈，可以走出人类完全想不到的策略（AlphaGo move37神之一手）；LLM可验证任务RL理论上也可能涌现人类想不到推理方式。
5 现有推理模型现状
- DeepSeek‑R1开源权重；OpenAI o系列、Gemini Thinking都是同类RL推理模型；
- OpenAI网页端隐藏完整原始思考链，只展示摘要；推理模型耗时更长，在数学代码类任务效果突出；但是这套RL技术仍然属于前沿实验阶段。

第（十）部分 **后训练阶段3：RLHF人类反馈强化学习，不可验证任务的强化学习与固有缺陷（112%‑123%）
1 什么是不可验证任务
- 写笑话、写诗歌、摘要；没有唯一标准答案；无法写程序自动判断输出好坏。
2 RLHF核心思路：间接，训练奖励模型充当人类偏好模拟器
- 对于同一个prompt，让大模型生成多条回复；交给人类标注员，不对回复打具体分数，只做相对好坏排序。
- 拿人类排序结果训练一个独立神经网络（奖励模型Reward Model）；输入prompt+模型回复，输出一个代表好坏的分数，模仿人类审美偏好。
- 主大模型做强化学习，以奖励模型输出分数作为奖励信号做迭代。少量人类排序样本，就可以生成无数次自动打分。
3 RLHF的优势
- 规避SFT的痛点：创意类任务让人类直接写完美回复难度极高；但是人类做“对比几个回复挑更好的”难度低很多。
4 RLHF致命短板：奖励模型会被模型“钻空子”（博弈、对抗样本）
- 奖励模型本身也是神经网络，存在漏洞；RL优化会疯狂寻找可以拿到高分但是内容完全无意义的对抗样本。
- 不能无限持续RLHF训练，训练久了输出会崩坏；只能训练有限步数，做小幅调优；对比数学这种客观可核对奖励，客观正确很难被钻空子，可以大规模持续训练。
- 结论：RLHF ≠ 真正意义无限探索式强化学习，更多偏向小幅调优。

第（十一）部分 **大模型未来发展方向、获取模型资源渠道总结（123%‑134%）
1 未来技术方向
- 多模态：图像、音频切片转token，和文本token放入同一套模型处理，原生看图片听声音。
- AI Agent智能代理：模型自主串起多个子任务，长期执行复杂工作，需要人类监督。
- 电脑操作能力：模型模拟键鼠操作电脑。
- 测试时训练：现在模型部署之后权重固定，只有上下文in‑context学习；未来探索推理阶段也可以更新模型知识，缓解上下文窗口压力。
2 跟踪前沿资讯的资源
- LLM排行榜（Elo人类对比打分），但是排行榜现在存在被刷分的情况，只能作为初步参考，实际任务必须自己测试。
- AI news通讯，汇总行业新动态。
- X（Twitter）关注领域研究者。
3 去哪里使用各类模型
- 闭源商用模型：官方网站（ChatGPT、Gemini）。
- 开源权重对话模型：推理服务商together.ai。
- 开源基座base模型：hyperbolic平台。
- 本地部署小模型工具：LM Studio，在个人电脑显卡上本地跑模型，数据不传出本机。

第（十二）部分 **全文收尾总结：当你在ChatGPT输入提问时到底发生了什么，使用模型的忠告（134%‑140%）
1 完整复现一次用户提问全链路
- 用户输入文字做token分词；按照对话协议拼接历史对话变成一维token序列送入模型；循环采样输出一个个token，拼接得到回复文本。
2 重新理解模型输出本质
- SFT模型输出本质：统计学模拟遵循厂商标注手册的人类标注员；不是拥有主观意识的智慧生命。
- RL推理思考模型：在可验证任务上，会涌现出新的推理策略；但是创意类任务这套思考能力能不能迁移，学界还没有确定答案。
3 普通人使用模型忠告
- 大模型是强大工具，不是不会犯错的权威；存在幻觉、低级随机漏洞。
- 用作头脑风暴、写初稿，所有重要输出一定要人工核验，对最终结果自己负责。
- 数学、计数、字符处理等任务，优先让模型调用代码工具，减少出错概率。

LLM Visualization -- Software by Brendan Bycroft | LLM交互式可视化

cognitalk — Sun, 01 Nov 2026 01:19:29 +0000

https://www.youtube.com/watch?v=Y-d0LxlxCzg

这个视频是作者 Raghu K 分享自己学习大语言模型（LLM）底层原理的学习心得与感谢。主要内容包括以下几个方面：

探讨大模型与 Transformer 架构 [00:00]：视频开篇提到了大语言模型（如 GPT）的核心是 Transformer 架构，而“注意力机制（Attention）”又是 Transformer 的核心。这个架构源自 Google 团队发布的经典论文，被视为 AI 时代的转折点 [00:24]。
LLM 内部可视化工具 [00:50]：视频中展示了由软件工程师 Brendan Bycroft 开发的 LLM Visualization 可视化工具 [02:28]。通过该工具，可以直观地看到大模型内部各个组件的运作方式，包括：
嵌入层（Embedding） [01:04]
层归一化（Layer Norm） [01:04]
自注意力机制（Self Attention） [01:04]
投影层（Projection）与多层感知机（MLP） [01:04]
最终的 Softmax 与输出 [01:04]
表达感谢 [02:51]：视频最后，作者对所有幕后推动人工智能发展的工程师、开发可视化工具的 Brendan Bycroft [02:28] https://bbycroft.net/llm ，以及把复杂概念用通俗易懂的方式教给学员的老师 Akshay [03:01] 表示了由衷的感谢。

你可以通过 LLM Visualization 视频了解更多详情。

AI, ML, and Data Engineering InfoQ Trends Report 2026 | 2026年AI、机器学习和数据工程InfoQ趋势报告

cognitalk — Sat, 31 Oct 2026 02:05:50 +0000

https://www.youtube.com/watch?v=qR23GPBiFq8

2026 AI趋势深度对话：从模型竞赛到系统落地，Agent、评估与物理世界的挑战

整文通俗解释与关键要点

这份报告是一份播客访谈的文字稿，InfoQ邀请了四位AI领域的专家，一起聊了聊2026年AI领域正在发生什么。简单来说，就像一群顶尖玩家在复盘当前的游戏版本，并预测下一个版本的更新方向。

关键要点（打个比方）：

AI不再只是“聊天”： 以前我们跟AI对话，它回答问题。现在AI开始像“实习生”或“初级员工”，可以领到一个任务，自己规划步骤、调用工具、执行操作，直到完成为止。这就是 AI Agent（智能体）。
模型越来越“卷”但更实用： 以前大家比谁的模型最大、参数最多。现在风向变了，大家都在研究怎么把大模型“压缩”成又快又便宜的小模型（蒸馏、量化），够用就行。就像不追求开超跑，而是追求经济实用的代步车。
“造车”转向“开车”： 过去两年大家忙着训练各种强大的基础模型（造发动机）。到了2026年，重点变成了如何把这些模型安全、可靠、低成本地部署到实际业务中（如何让车在路上好好跑）。
AI Agent的“职场”难题： 让一个Agent干活容易，但让一群Agent协作（多智能体系统）就难了，它们会互相推诿、发消息刷屏、甚至搞不清自己的职责范围。这就像管理一个全是新人的项目组，沟通和协调成本很高。
AI开始“动手动脚”： AI不再只存在于电脑里，它开始进入物理世界，控制机器人、自动驾驶汽车。但物理世界的容错率极低，AI犯错的代价不再是删掉一个文件，而是撞坏一辆车或弄碎一个鸡蛋。
评价体系变了： 以前评价AI只看答案对不对。现在评价一个Agent，要看它任务完成没、花了多少钱、用了多长时间、中间有没有违规操作。这就像考核员工，不光看结果，还要看过程和成本。

文章分段与详细要点

第一部分：开场与自我介绍（0% - 8%）

播客背景介绍
- 主持人Shini Panchikala宣布开始2026年AI和ML趋势报告播客。
- 这是InfoQ年度报告的一部分，旨在分享AI和ML技术领域的最新动态。
- 强调了本次播客的两个组成部分：本期播客讨论和一份包含技术采纳度图表（Adoption Graph）的书面文章。
嘉宾介绍
- Chip Huen: 专注于AI Agent技术和工作流自动化，致力于让AI更快、更便宜。特别提到了对Type Safe AI公司开发的Java模型的兴趣。
- Daniel Dominguez: InfoQ副主编，软件工程师，近期特别关注AI Agent、Agent驱动的软件开发，以及AI从纯数字系统向机器人技术和物理世界的延伸。
- Arthur: 研究员和技术战略家，主要从事咨询工作，帮助企业将AI落地到系统中，研究方向是多智能体系统和信念修正（Belief Revision）。
- Henglu: 主要关注机器学习基础设施和AI工程，目前在一家初创公司做AI推理方面的咨询工作，也是QCon纽约站的主席。
重要提示与免责声明
- 提醒听众，除了播客外，还有一篇更详细的书面文章可以在InfoQ网站上找到。
- 明确声明：本播客并非由AI生成或辅助生成，是由拥有真实世界经验的真人录制的。

第二部分：2026年AI现状速览（8% - 15%）

Chip的观点：疯狂的投资与“赢家通吃”
- 用资金流动作为衡量指标：涌入AI领域的投资呈指数级增长，但通过IPO或收购流出的资金几乎没有。
- 公司平均规模变小，意味着任何人都能利用AI构建产品，“如何构建”不再是问题。
- 挑战在于“构建什么”以及如何在海量信息中筛选出有价值的产品。市场呈现“赢家通吃”的局面，少数几个产品占据了所有关注。
Henglu的观点：Agent堆栈的构建与生产化
- 2025年底到2026年初，大家都在谈论“Agent之年”。
- 目前正处于构建AI Agent堆栈的阶段，不同层级都有大量创新。
- 现在的核心挑战是如何运营（Operate）这些Agent，并将它们真正投入生产环境。
- 另一个显著变化是：用编码Agent写代码变得非常容易。
Arthur的观点：从关注“零件”到关注“整车”
- 行业视角正在转变，从关注单个模型的能力（如汽车的零件性能），转向关注整个系统的可靠性（如整车的稳定运行）。
- 在实验室里，Agent可以完美运行，但在生产环境中，会遇到数据混乱、权限复杂、法规限制、成本高昂等问题。
- 2026年的决定性考验是：团队能否在实际工作流程中信任并使用AI来解决真实问题。
Daniel的观点：从“互动”到“委托”
- 最大的变化是，AI正从我们与之互动的对象，变成我们可以委派任务的对象。
- 过去几年，AI应用多是简单的问答交互。现在，系统能够自主规划、使用工具、执行操作，并能长时间持续工作。
- 2026年更侧重于将模型智能转化为实际的、可工作的系统。

第三部分：语言模型的新趋势（15% - 28%）

模型不再是全部故事
- Arthur提出，2026年前沿模型的一个核心观点是：模型本身不再是全部。
- 问题从“哪个模型最好？”转变为“哪个模型或模型组合，能针对我这个特定工作负载，提供最合适的性能、延迟、数据边界和成本？”
- 这意味着选择模型变成了一个系统设计问题，而非简单的模型挑选问题。
模型小型化与效率革命
- Chip指出，“模型大小”的定义已经改变，因为存在稀疏激活（MoE）和量化技术。
- 量化技术取得巨大进步，从几年前认为4-bit模型不可思议，到现在已经可以稳定运行1-2 bit模型，大幅降低了计算需求。
- 模型发布周期出现新模式：前沿实验室先发布一个性能最强的超大模型，几周后就会发布一个性能几乎相当但价格便宜得多的“蒸馏版”小模型。
微调（Fine-Tuning）在企业中的实际应用
- Henglu提出问题：虽然微调技术（如LoRA）和创新很多，但在企业中是否有成功的实际用例？
- 大家普遍认为，微调依然是一项繁重的工作，需要很高的技能集来维护和运营，是否值得做仍存疑问。
- Arthur观察到，确实有一些公司在做微调，但主要集中在医疗和金融等高度专业化、注重知识产权的领域，且通常秘而不宣。
- 结论是，微调目前更像是一门“手艺活”（Craft），而非标准化的流程，本质上是研发行为。
模型蒸馏（Model Distillation）详解
- Chip解释了蒸馏的原理：用一个非常大的、性能优异但昂贵缓慢的模型作为“教师”，去训练一个小得多的“学生”模型，让学生模仿教师的输出。
- 目标是实现与大型模型相当的性能，但成本大幅降低。
- 近年来蒸馏技术的进展神速，许多过去被认为不可能的事情现在都已成为现实。
本地模型 vs. 云端模型 & 多模态模型
- Arthur强调，区分本地和云端部署不是一个非黑即白的问题，两者往往走向混合模式。
- 关键在于企业想解决什么问题？是预算问题、架构问题还是其他？
- 简单地选择一个类别并不能解决问题。

第四部分：推理（Inference）与硬件生态（28% - 35%）

2026年：推理之年
- Henglu指出，推理话题从2026年初开始就彻底爆发了。
- 一方面，VLLM、SGLang等推理框架日趋成熟，帮助开发者轻松搭建自己的推理服务。
- 另一方面，开源权重模型的能力越来越强，使得在内部托管模型变得可行，尤其适用于金融等对PII敏感的行业。
硬件格局的变化
- 目前推理市场仍由Nvidia主导，但AMD等竞争者正在崛起。
- Chip提出了一个有趣的观点：随着新一代更强芯片的推出，大量旧一代芯片可能会被闲置。如果能通过模型蒸馏等技术，让小模型在这些旧芯片上高效运行，将会非常有价值。
- 对于新兴芯片公司（如Cerebras）来说，与其在高端旗舰市场与Nvidia硬碰硬，不如在低端市场寻找机会。

第五部分：上下文工程（Context Engineering）与AI Agent （35% - 50%）

上下文污染是核心问题
- Arthur强调，更大的上下文窗口并不能解决根本问题。如果系统无法区分有用信息与无关、过时或有害信息，那么更多的上下文只会让Agent变得更慢、更贵、更不可靠。
- 实践中的问题是：哪些信息应该进入上下文？来自哪个源？有什么权限？用于工作流的哪一步？这涉及检索质量、来源归因、规则和上下文压缩等一系列问题。
AI Agent的演进：从个人到组织
- Daniel描述了Agent的快速演进路径：从帮助个人的个人助理，到协助团队的协作工具，再到跨越整个组织运作的系统。
- 核心变化是，AI从一个生成答案的聊天界面，变成了一个可以执行操作的“执行层”。
- 在软件开发领域体现得尤为明显：从自动补全代码，到能够浏览仓库、修改文件、运行命令、自行迭代修复错误的编码Agent。
- 开发者的工作方式正在改变，从编写每一行代码，转变为定义意图、提供上下文、审查决策和验证产出。
安全地将AI Agent接入SDLC
- Arthur指出，需要区分“编码辅助”和“编码Agent”。后者能直接运行命令、修改仓库、发起PR、影响部署，因此需要操作层面的设计。
- 需要明确的权限等级、审计追踪和工作流审查。
- 工具也在进化，从为人类设计的界面，转向为软件Agent设计的API和协议。
Agent工程化：Harness工程与运行时
- Henglu补充，Agent SDK（如LangChain、Anthropic、OpenAI的）正在扩展功能，不仅提供循环逻辑，还集成了内存管理、代码执行、文件系统操作等“Harness工程”能力。
- 同时，出现了专门为Agent提供运行时环境的公司，帮助运营和管理大规模Agent集群。

第六部分：多智能体系统（Multi-Agent Systems）的挑战（50% - 63%）

经典概念的新生与复杂性
- Arthur指出，多智能体系统是一个已有几十年历史的研究领域。当前的热潮有时是在“重新发明轮子”。
- 他的研究重点是“信念修正”，旨在解决AI的幻觉和信息溯源问题，这涉及到形式逻辑。
通信与协调的噩梦
- Chip分享了一个亲身经历：他构建了一个多Agent系统来处理复杂任务，结果Agent们开始互相转发任务，最终没有一个Agent完成实际工作，他花半小时检查才发现问题。
- 关键挑战在于：Agent如何判断一个任务属于“我的职责范围”？如何避免重复劳动或推诿扯皮？
缺乏标准与共享状态
- Arthur深入分析了问题的根源：多Agent系统缺乏统一的标准，包括通信协议、状态描述、环境定义等。
- 如果两个不同的多Agent系统需要协作，它们会有不同的ID体系、词汇表和任务定义，没有共享的状态，这使得问题难度呈指数级上升。
- 解决方法是“化整为零”，在一个非常具体、受限的“盒子”里定义好一切，再尝试与其他系统对接。
Agent工程 = 系统工程
- Daniel认为，管理多Agent系统面临的所有挑战——身份、权限、可观测性、编排、故障恢复——都与分布式系统工程非常相似。
- 因此，Agent工程正从单纯的提示词工程，演变为一门系统工程学科。

第七部分：AI评估（Evaluations）与物理AI （63% - 78%）

2026年：AI评估之年
- Henglu强调，对于面向客户的严肃Agent，评估是必不可少的核心环节。
- 企业需要建立评估框架（Evaluation Harness），涵盖数据获取、测试运行和质量评估，来决定是否可以发布。
- Daniel补充，评估维度已经改变。不仅要看答案是否正确，还要看Agent是否完成了任务、花费了多少成本和时间、需要多少次人工干预、以及过程中是否有不安全的行为。
物理AI：AI走进现实世界
- Daniel介绍了物理AI的概念：将AI连接到能够感知和作用于物理世界的机器上，如机器人、自动驾驶汽车、无人机。
- 与软件Agent的根本区别在于，物理世界的错误会产生物理后果，因此可靠性、模拟仿真、安全性验证变得至关重要。
- 机器人领域正受益于基础模型的方法，视觉-语言-行动模型让机器人能理解自然语言指令并转化为物理动作。
机器人训练的独特挑战
- Chip指出了机器人模型训练与LLM训练的关键差异：
  - 回溯困难： 软件出错可以重置状态重来，但机器人摔下楼梯就坏了，无法轻易试错。
  - 数据瓶颈： 什么样的数据才能让机器人模型规模化？是真实的机器人操作数据（昂贵）、人类观看的视频（缺乏触觉信息），还是介于两者之间的带触觉反馈的数据（如戴手套操作）？
- 不同公司（如Physical Intelligence、Skilled AI）正在对这些不同的数据路径下注。

第八部分：未来预测与总结（78% - 100%）

Chip的预测
- 希望看到美国机器人公司推出可供购买的成品机器人。
- 关注OpenAI的IPO，其成败将对整个AI市场的融资产生重大影响。
- 期待更多像TypeSafe那样的更便宜、更快的模型出现。
Daniel的预测
- 能源将成为瓶颈： AI基础设施耗电惊人，电力供应、冷却和数据中心选址将成为增长的最大制约。
- AI走向太空： 为了更高效地散热，AI数据中心可能会被送入太空。
- 中美AI竞争升级： 竞争焦点将从最好的模型和芯片，转向制造能力、能源、数据中心、供应链和算力获取，形成一场“科技冷战”。
Henglu的预测
- 每个AI Agent都会整合某种形式的“Jav”模型（一种超快、低成本的模型）。
- Agent与Agent之间的通信将变得越来越频繁。
Arthur的预测
- 最成功的AI部署将比现在看到的更加“狭窄”和专注。不是一个大而全的Agent，而是由许多小而专的Agent组成，各自负责明确定义的任务。
- 成功的关键在于围绕Agent的支撑系统：可信的数据、有限的权限、完善的测试、可追溯的操作日志，以及能够衡量任务成本和质量的ROI。
主持人的总结与寄语
- AI是一个重大的技术变革，不是一时风潮，它将长期存在。
- 鼓励听众拥抱这项技术，用它来自动化日常工作，腾出时间去做更重要的事。
- 预测明年AI会更深入地融入日常生活，直到我们不再刻意谈论它，它已成为生活的基础设施。

AI Could Break Crypto Within Two Years. Why Is Cryptography Off-Limits? | AI 一两年内或破加密，密码学为何被绕开？

cognitalk — Thu, 29 Oct 2026 23:00:30 +0000

http://www.youtube.com/watch?v=3bNETjWda38

这个视频采访了前 OpenAI 安全研究员、量子计算学者 Scott Aaronson [00:06]，主要探讨了 AI 在数学解题上的突破，以及它对密码学、学术界和人类数学理解带来的巨大冲击。以下是核心内容的详细梳理：

1. 为什么近 400 个 AI 数学成果中唯独跳过了密码学？

刻意规避： OpenAI 此前发布了近 400 项 AI 解决的重要数学和理论计算机科学难题 [02:43]，但明显没有涉及密码学领域 [00:36]。Scott Aaronson 认为这绝非巧合，而是 OpenAI 采取了更为谨慎的态度 [00:46]。
迫在眉睫的风险： 他指出，我们必须严肃面对这样一种前景：AI 模型可能在一两年内就会破解一个或多个广泛使用的加密算法 [01:00]。传统的安全漏洞负责任披露通常是通知涉事公司并给予 90 天窗口，但如果被破解的是 RSA 或比特币等底层加密，需要通知的将是全世界 [01:16]。

2. AI 解题对学术家庭的直接波及

唯一游戏猜想（Unique Games Conjecture）被破： Scott 的妻子、复杂性理论学者 Donna 几十年（自 2009 年起）一直在研究理论计算机科学中的重大未解难题——“唯一游戏猜想” [02:13]。而 OpenAI 的 AI 成果中，其中一个皇冠明珠就是给出了这个猜想的证明 [02:53]。
“AI 读懂 AI 的证明”： 成果发布后，Donna 花了大量时间试图去理解这个由 AI 生成的证明 [03:09]。虽然 AI 生成的手稿非常难读，但人类现在可以利用 AI（如 Astra）来协助阅读和逐点解释 [03:45]，这成为了人类消化海量 AI 数学成果的新方式 [04:07]。

3. 两家顶尖 AI 公司发布数学成果的不同模式

视频对比了 OpenAI 与 Anthropic 在处理重大数学突破时的不同策略：

OpenAI 模式（直接公开）： 直接大量公开 AI 发现的数学论文和手稿 [02:43]，优点是信息完全透明，但缺点是人类面对密密麻麻、未经整理的公式，需要花大量时间去消化和理解 [04:31]。
Anthropic 模式（人类专家背书）： Anthropic 在发布关于知名问题（如 3-SUM 和全源最短路径问题）的新算法时，选择先与人类专家（如 Vie Vasellvka 和 Josh Alman）合作 [05:40]，由人类专家彻底读懂、重写并以自己的名字署名发表，承担起解释和回答公众提问的责任 [06:11]。不过，这种模式的缺点在于公司必须挑选特定的“人类特使” [06:18]。

4. 面对 AI，人类如何守住对数学的理解？

人人都能用 AI 解题的时代： Scott 认为 Anthropic 模式面临的选择问题很快就会变得没有意义，因为未来每个人都可以直接向 AI 提交查询并获得重大未解难题的答案 [06:50]。
核心挑战： 面对这种冲击，数学界和人类面临的终极问题是：如何在 AI 时代维持学术社群，并守住人类对数学的理解、传承给下一代？ [07:20]

Exploring Nowhere Bookstore with Yinuo & Janice | 飞地书店，让我看见华语世界另一种表达--一诺张洁平

cognitalk — Thu, 29 Oct 2026 00:54:04 +0000

https://www.youtube.com/watch?v=aBuBPX0y63M
这期视频是一诺 Li 李一诺拜访并对话媒体人张洁平的探店之旅，主题是逛位于台北的小书店——「飞地书店」（Nowhere） [01:13]。

以下是视频的核心内容概述：

1. 书店的空间设计与“不与店长对视”的巧思

流线与藏匿的角落： 书店由正方形空间改造成，中间设计了弧形中岛动线，四周划分出多个角落 [01:56]。
留白与包容： 飞地希望读者能在这里待上两三个小时，即使一本书不买也没有压力，不会让人有急迫的购物感 [02:11]。
亚洲人的社交舒适区： 张洁平笑称，荷兰的飞地书店顾客喜欢跟店长眼神交流和聊天，但台北和东京的读者则完全相反 [00:10]。因此店长电脑前故意堆了很多东西遮挡，让读者可以“理論上你不會跟店長有目光的對視，不要看我”，创造一个安安静静独自看书的舒适空间 [00:10]。

2. 核心选书与分类

四大主题：
世界大局与政治性议题： 关注中国、世界及台湾的当代局势 [04:44]。
性别与关系： 探讨人在被科技隔绝的孤立世界里如何重建连结 [04:58]。
在地风土： 照顾移民开的书店特色，同时也扎根在地，收录大量在地设计、风土创业、地方编辑等书籍 [05:14]。
回忆录/自传： 聚焦经历过困境的思想家、艺术家或离散移民的回忆录。张洁平认为阅读是一种“深度社交”，读者能从百年前或异国他乡的困境中找到强烈共鸣 [05:47]。

3. “Zine（小誌）”与独立出版物的兴起

什么是 Zine： 指没有出版社、没有正式书号、自己写自己印的独立、分散式出版物（小册子） [10:49]。
独特的社会力量： 在民主自由的地方，Zine 可能是锦上添花的可爱创作；但在压迫、威权或战乱的地方，它往往成了表达真实声音的唯一渠道（例如收录中国劳工访谈的《工劳报》，或是乌克兰文化的画册等） [00:30]。
目前这类“小誌”在飞地大受欢迎，已经占到销售份额的 20% 左右，飞地也借此连结全球各地的独立创作者 [16:09]。

4. 跨越全球的微型“航母”：飞地的全球串联

飞地目前在全球有 5 家小店（如台北、东京、奥克兰、伦敦等） [14:55]。
视频中提到正举办“台湾季”全球串联活动（2026年8月至10月），串联了台北、奥克兰、东京、伦敦、布拉格、柏林、华盛顿特区、纽约和旧金山等 10 个城市的独立书店或分店，将台湾的文学、文化与思想带给海外华人读者 [19:10]。

5. 好书推荐

视频尾声，两人分享了一本由毛毛创作、关于北京封控期间经历的生活随笔/漫画书 [23:32]。作者将繁体字全部手写，细腻记录了高压日常中陌生人之间的守望相助，具有极强的场景感和触动人心的力量 [22:23]。

Why Inference Matters 12x More Than Training -- YC Paper Club | YC Paper Club分享实录：大模型推理的重要性是训练的12倍

cognitalk — Mon, 26 Oct 2026 16:52:19 +0000

https://www.youtube.com/watch?v=mHNKuH-9OxU

YC论文俱乐部｜推理远比训练更重要：大模型推理系统、编译器与开源服务实践

说明：这份是YC Paper Club分享实录，多位行业专家依次演讲，核心观点：大模型推理的重要性是训练的12倍，围绕LLM推理成本、KV Cache、调度、内核、量化、编译器、开源推理服务质量、SGLang技术展开。

通俗整体解读

简单说：训练大模型是一次性“造模型”，推理是千千万万用户实际提问、AI输出答案的过程。很多人只关心训练算力，但真实业务里推理消耗算力是训练的十几倍，也是赚钱、控成本的关键。

打几个比方：

训练 vs 推理：训练好比花几个月打磨一本超级厚的百科全书；推理就是成千上万的人天天翻阅这本书。写书只花一次功夫，但无数人翻阅的总工作量，会是写书的十几倍。也就是文中说的推理重要性是训练12倍。
Prefill（预填充）vs Decode（解码）：你一次性把一大段问题粘贴给AI叫prefill，像一次性读完你的全部问题；AI一个字一个字往外输出回答叫decode。解码是最大性能瓶颈，GPU实际算力利用率经常只有5%。
KV Cache缓存：相当于把你刚刚读过的书页临时放在高速桌面上，下次接着聊不用重新再读一遍整本书；桌面空间（显存）有限，太久不用的书页要挪到硬盘。缓存命中率越高，花钱越少、回复越快。
推理质量坑：同样的开源大模型，不同云服务商跑出来效果不一样。就像同一本正版书，有的复印店复印模糊、缺页，哪怕书名一样，读起来体验天差地别。
推理编译器：相当于翻译官，把大模型代码翻译成GPU硬件最高效听得懂的指令，不用人工手写海量优化代码，靠搜索找最优执行方案。

分段详细要点（按文档token占比估算时间百分比）

第（一）部分开场Francois演讲：为什么推理的重要性是训练的12倍（0%‑24%）

推理业务的现实商业价值
- YC做大量推理赛道投资；演讲者本人曾经运营AI公司，实际落地中推理永远是业务瓶颈；推理直接决定销货成本COGS，是很多软件从业者容易忽略的指标。
- 过去十年推理相关公司累计创造2200亿美元市值；DeepSeek公开的数据可以用来对比训练算力与推理算力。
12倍重要性的来源：训练FLOPs对比推理FLOPs
- DeepSeek‑V3训练消耗约280万H800小时；日常推理消耗43000 H800小时/天，还只是旧数据，真实数值更高。
- 按一年周期计算，推理算力消耗是训练的6倍；如果模型权重实际使用寿命按2年算，推理算力开销达到训练12倍；随着用户越来越多，推理占比会继续变大。
- 批评现在很多学术论文只对比训练算力（ISO train flops），呼吁学术界更多关注ISO推理算力，做模型选型要把推理开销权重放大12倍看待。
- 举例DeepSeek依靠推理侧创新，实现约80%毛利率，证明推理优化直接决定企业利润。
LLM推理底层两个核心阶段：Prefill预填充、Decode解码
- Prefill：处理用户输入prompt、token序列；可以利用KV缓存，如果输入已经缓存，不需要重复跑prefill；可以使用LRU缓存策略，把KV数据放在显存、内存甚至SSD，以此节省算力开销。
- Decode循环：逐个生成输出token，是最大性能瓶颈。
- GPU算力利用率MFU指标：prefill阶段MFU大约50%；decode解码阶段GPU利用率可能低至5%，硬件大部分算力被浪费。
推理系统关键KPI指标定义
- Time to first token（首token时延TTFT）：prefill处理完，拿到第一个输出token的耗时。
- Time per output token：每生成一个输出token耗时，代表解码速度。
- Throughput吞吐量：每GPU小时产出多少token数量。
- Goodput有效吞吐量：在满足服务质量SLA时延约束下的实际有效token产出。
DeepSeek公开真实线上业务数据
- 不命中缓存时，单GPU prefill吞吐量60000 token/s；输入KV缓存命中率96%。
- 缓存命中场景，单GPU吞吐量高达150万token/s。
- TTFT平均400ms，P99首token时延1s；decode阶段单GPU吞吐量14000 token/s。
- 明显差距：prefill吞吐量远高于decode，解码才是真实业务瓶颈；KV缓存数据量达到PB级别，缓存保留时长设置72小时是高命中率的关键。
- 业务场景差异：Agent业务缓存命中率高；普通普通闲聊、每次全新提问场景几乎没有缓存，需要反复执行prefill。
算术强度Arithmetic Intensity概念
- 算术强度：从内存读取固定字节数据，能够执行多少次计算。
- 扩散模型、RNN算术强度很高；LLM大模型算术强度很差，内存带宽成为限制。
- 相关新架构：Diffusion‑LLM、SSM可以提升算术强度。
硬件性能衡量指标：MFU、MBU、屋顶线分析Roofline
- MFU模型FLOPs利用率：硬件标称算力和推理实际达成算力的比值。
- MBU模型带宽利用率：硬件内存带宽上限和推理实际使用带宽比值。
- 屋顶线分析：程序理论性能上限，取硬件峰值算力、内存带宽*算术强度二者的最小值。
三大推理优化技术大类
- 模型层创新：MoE稀疏专家模型、SSM状态空间模型、多头隐式注意力；量化压缩；模型蒸馏到大模型蒸馏到小模型。
- 内核&运行时创新：Radix Attention基数注意力、Flash Attention、PageAttention；思想借鉴数据库、操作系统理论，基数树、虚拟内存分页管理KV缓存。
- 调度框架（harness）创新：请求路由分级调度、瀑布式模型调用；推测解码Speculative Decoding；递归LM减少KV缓存占用；KV缓存压缩Compaction，文中提到Cartridges技术。
学习资源预告，引出下一位讲者Dan Fu（Together AI）
- 推荐课程：Percy CS336 LLM from scratch Lecture10；Ryner Pope与Dwarkesh讲座。
- 介绍到场嘉宾：Dan Fu(Together AI)、Jeffrey Morgan(Ollama)、Joe Fiaty(Luminal)、Lang Shang(SGLang)。

第（二）部分 Dan Fu演讲：一个推理请求完整生命周期，内核、并行、量化实践（24%‑49%）

开源大模型推理行业现状与Together AI介绍
- 开源AI流量规模爆发：Together每月处理400万亿token，流量达到Gemini的1/8；OpenRouter平台过半流量跑开源模型；某些单日Together处理token规模甚至超过OpenAI。
- 开源模型同等质量情况下成本可以低至闭源模型的1/10。
- Together定位AI原生云：覆盖预训练、微调、推理、Agent沙箱；团队80名研究人员，核心聚焦推理性能优化。
- 做推理优化需要针对不同业务负载做差异化优化（写代码Agent、普通聊天），关注缓存命中率、请求间隔、SLA时延约束。
一个推理API请求完整端到端全链路流程
1. 请求路由Routing：成千上万GPU集群，不仅做负载均衡，还要尽量把重复请求发到同一个GPU，复用已经存在的KV缓存，不只是简单轮询负载均衡。
2. Tokenization分词：不仅仅简单文本转token ID，还要处理工具调用tool call；保证工具调用解析正确性，会直接影响模型实际可用性。
3. 全局调度批处理Scheduler：请求排队、合并batch；调度策略直接决定总吞吐量与响应速度；可以权衡：追求更高并发用户 or 追求更低延迟。
4. Prefill预填充阶段：计算密集，MFU算力利用率高，算术强度高。
5. Decode解码阶段：内存带宽绑定（memory‑bound）；和prefill硬件资源需求完全不一样；业界在研究prefill‑decode disaggregation（把预填充和解码跑在不同GPU）。
6. 结果detokenization回译文本；KV缓存生命周期管理，决定什么时候释放缓存内存。
推理加速的六大方向，本次重点讲内核Kernel、并行Parallelism、量化Quantization
- 其余方向：Prefill‑Decode分离Disaggregation、请求路由Routing、推测解码Speculative Decoding。
方向一：GPU内核Kernel优化
- 内核就是GPU上执行的程序，矩阵乘法、注意力、Norm、Softmax全部靠内核实现。
- RMSNorm、LayerNorm、Softmax这类算子算术强度很低，单独执行会拉低硬件利用率；这就是训练只有50% MFU、解码仅5% MFU的重要原因。
- 传统方案：大量内核工程师手工开发、融合算子内核。
- Together内部项目 Together Compiler（后续会改名）：利用AI Agent自动优化推理内核；以线上真实业务流量作为优化驱动；构建推理递归自改善RSI循环；针对模型+硬件+真实流量自动调优。
方向二：并行策略优化
- 基础并行范式：张量并行TP、流水线并行PP、数据并行DP。
- 硬件变革：Blackwell架构机柜，支持72个GPU高带宽互联；过去NVLink最多8个GPU高速互联，超过8个带宽暴跌。
- MoE专家并行新机会：把MoE不同专家部署到独立GPU；单GPU只放一个专家，把稀疏计算变回GPU擅长的大矩阵稠密计算，显著提升吞吐量。
- 工程难点：72 GPU大集群硬件故障率升高；单GPU故障不能让整个模型副本全部挂掉，需要高可用、故障容错机制。
方向三：量化Quantization
- 原始训练精度BF16（每个参数16bit/2字节）；3万亿参数模型需要6TB显存。
- 量化把权重压缩到8bit、4bit（NVFP4），降低显存占用，提升吞吐；但会带来模型质量风险。
- Together建立完整质量闭环：标准benchmark、Agent自动化评测、内部大量dogfood真实测试；举例自动化小游戏Flappy Bird评测：如果量化损坏能力，写不出游戏就代表量化失败。
- MiniMax M3模型实战案例：MiniMax原生NVFP4量化版本效果变差；Together使用无训练的量化配方（Scale Search技术），不需要微调重训练，校准数据+组合多种无训练量化算法，达到和FP8原始模型持平效果，帮助服务商低成本对外提供服务。
现场问答环节要点
- 质量评测手段：不只有GSM8K/MMLU公开benchmark；还看各层激活KL散度；自建海量真实场景测试用例；Agent自动化评测；benchmark饱和后，细微分数变化很难发现真实缺陷。
- NVLink硬件：依靠机柜内交换机+粗线缆实现72GPU互联。
- MiniMax量化案例补充：方案属于无重训练量化，不使用模型原始训练数据集，避免模型知识遗忘，依靠校准数据与精心组合量化配方。
- 对新兴架构看法：SSM、线性注意力、DLLM扩散大模型、循环Looped模型；很多曾经被认为没有实用价值的架构，已经悄悄进入主流大模型；学术idea落地工业界反馈周期变得非常短。

第（三）部分 Jeff Morgan(Ollama)演讲：开源模型的推理服务质量陷阱（49%‑69%）

Ollama项目背景
- Ollama最初2023目标：本地运行开源大模型，提供对标闭源模型开发者体验。
- 模型规模膨胀之后推出Ollama Cloud，现在欧美头部独立开源模型云服务商；财富五百强大量企业使用。
- Ollama Cloud核心组件是智能路由Router，对接多家第三方推理服务商。
核心论点： 同一套开源权重，不同推理服务商跑出来性能差距，可以大于开源‑闭源模型本身的差距
- 市面上未来会有成百上千推理服务商；不同服务商硬件、量化版本、推理引擎内核、KV缓存实现各不相同。
- 产生质量差异的来源：过度量化、损坏权重文件、Tokenizer错误、工具调用解析bug、采样参数差异、KV Cache精度问题、错误上下文长度限制、甚至部署错版本模型。
- Agent场景问题放大：多轮链式调用，微小错误会不断累积；10%的单点错误率，多步coding任务最终错误率可以飙升到79%，直接摧毁业务。
- 论文佐证：曾经31个不同Llama推理端点测试，同样Llama权重，部分端点效果接近GPT‑3.5，部分效果严重劣化。
监控推理服务质量的多种技术方案，各自优缺点
1. 完整跑Benchmark评测套件：优点可以发现量化、大能力退化；缺点成本高、耗token，无法高频持续在线监控。
2. 输出分布比对测试：拿参考模型输出分布，和API服务商输出分布做统计对比；成本较低；缺点很难定位根因，必须持有参考权重。
3. Log‑probs对数概率监控：请求拿到下一个token概率分布，持续对比基线；调用成本极低；缺点很多API不开放log‑probs接口；只能检测相对于过去的漂移，如果基线本身就是错的就失效。
4. 业务侧指标统计（无原始文本留存）：统计工具调用失败率、输出长度分布、检测无限生成loop异常；OpenRouter等路由系统采用该思路；只能发现表象，不能定位内部缺陷。
行业改善推理一致性的可行路径
- 模型厂商发布完整可复现推理栈，DeepSeek发布DeepInfer推理引擎就是例子，第三方服务商可以直接整套部署。
- 模型官方自己发布经过验证的量化版本，而不是社区下游自行量化。
- 把工具调用、复杂解析逻辑上移到路由网关层，不要完全交给各个推理服务商实现。
- 创业机会：专门做LLM推理质量持续监控服务。
- 硬件TEE可信执行环境：GPU硬件证明当前加载权重与软件栈指纹，属于前沿构想。
现场问答要点
- 长上下文监控：构造逐步变长prompt，监控长上下文下log‑prob漂移，检测服务商截断上下文窗口的问题。
- 评测集被服务商“刷分过拟合”风险：使用客户私有定制评测集，服务商无法提前见过测试样例，防止刷公开benchmark。
- 本地推理趋势：本地大模型能力提升，未来系统不仅需要云端多服务商路由，还要做本地‑云端混合路由；本地推理同样会遇到全部上述质量bug，并非只有云服务商才有问题。

第（四）部分 Joe Fiaty(Luminal)演讲：基于等价饱和Equality Saturation的AI编译器（69%‑88%）

Luminal公司定位
- 编译器创业公司；编译器直接决定GPU算力转换成token的转换效率，决定业务盈利亏损。
- 核心技术：Equality Saturation等价饱和（egg‑log引擎），工业界较大规模落地该技术。
- 现状：8人小团队，每月处理80‑90万亿token；支持Nvidia、AMD GPU、TPU、Trainium、各类推理ASIC硬件。
传统ML编译器痛点
- 传统MLIR类编译器需要手写海量重写规则、算子库；模型种类×硬件种类组合爆炸；编译器团队需要几百上千人维护；新增硬件成本极高。
Luminal编译器核心设计思路
1. RISCV风格极简中间表示IR：把PyTorch两千多种算子全部拆解到14‑15个基础原语（add/mul/sum等稠密线性代数算子）；matmul矩阵乘法也拆解为广播乘法+归约求和。
2. 编译器不追求图灵完备，但是做到PyTorch完备：只要PyTorch可以写的模型都可以导入编译。
3. 超优化Super‑optimization + E‑Graph等价图（等价饱和）
  - 普通重写规则：匹配模式直接替换原图，丢掉旧信息，一旦改错无法回溯。
  - E‑graph等价饱和：应用等价规则时不删除旧计算图，把所有等价计算形式全部存入e‑graph；不断应用重写规则直到无法新增等价形式，这一步叫“饱和”。
  - 例子表达式 A*2/2，通过等价饱和自动发现等价于A，不需要人工专门写这条pattern规则。
4. 放弃复杂理论代价模型，以真实硬件实测时间作为代价函数
  - 硬件性能建模难度极高；生成多个等价可执行程序，放到真实硬件跑，测量实际运行耗时，选择运行最快版本。
  - 可以结合屋顶线分析做搜索空间剪枝，不用穷举全部天文数字的方案。
  - 用户设置编译时间预算；编译阶段可以跑很久，但是编译完成后会服务海量请求，一次性编译开销可以摊薄。
多硬件后端支持方式
- 对每款硬件描述硬件原生算子，写等价规则把硬件算子映射到内部极简IR；新增硬件后端工作量低。
- IR是多层次，可以描述线程、线程块、SM、单GPU、多节点不同层级运算；可以调用cuBLAS、CUTLASS、ThunderKit各类外部库算子；支持自动生成Mega‑Kernel大融合内核。
数值精度的考量
- 浮点结合律交换律不能无脑启用重写；不同归约顺序会改变浮点结果，会间接影响大模型输出token质量；编译器显式管控数值等价性。
现场问答要点
- 编译性能：子图profiling毫秒级；不会遍历全部搜索空间，只寻找足够好的局部最优解，不追求全局最优。
- 调试能力：e‑graph可以输出从输入图到错误输出图的完整重写证明链条，快速定位哪条重写规则出错；不支持算子回退CPU。
- IR非图灵完备的好处：可以解析得到理论内存读写上限，做搜索剪枝；只处理稠密线性代数计算。
- 边界：编译器只负责模型前向计算图优化；推测解码、调度、并行策略交给vLLM/SGLang推理引擎，编译器与之配合。

第（五）部分 Leon Shang(SGLang演讲)：Radix Attention基数注意力，统一内存与调度架构（88%‑100%）

技术诞生背景：Agent多子代理场景的痛点
- Agent会大量复用相同系统提示词前缀；大量短prompt反复送入推理引擎；旧推理引擎很难高效复用共享KV前缀。
Radix Attention基数注意力原始设计
- KV缓存组织成基数树Radix Tree；多个Agent共享相同前缀KV，只保存一份拷贝；不同分支保存各自独有的后缀KV。
- 内存淘汰策略：内存不足时驱逐未使用的叶子节点；调度器会重排请求batch，优先把共享前缀请求放一起，减少缓存被驱逐。
Overlap Scheduling重叠调度
- GPU越来越快，但是CPU处理batch准备的速度提升有限；旧调度模式下GPU会等待CPU准备batch，产生GPU气泡浪费算力。
- Overlap调度：推迟主机‑设备同步操作；GPU正在跑上一个batch的时候，CPU并行准备下一个batch，不让GPU空闲。
- 在Blackwell大集群场景，吞吐量提升最高接近2倍；DeepInfer也借鉴类似零气泡调度。
多级KV缓存 L1/L2/L3
- L1：GPU显存，L2：主机内存，L3：外部磁盘存储；KV缓存可以在三级之间迁移；显著降低首token时延TRFT，实验降低56% TTFT。
新架构带来的缓存挑战（滑动窗口SSM/循环Recurrent模型）
- 滑动窗口注意力、循环状态模型，它们的KV缓存格式和标准Full‑attention完全不一样。
- 如果维护多套独立基数树，共享前缀匹配、内存驱逐、锁管理会出现大量兼容bug。
Unified Radix Tree统一基数树（新一代SGLang设计）
- 以原始完整token序列作为语义层构建统一基数树；滑动窗口、循环状态等各类内部存储作为组件挂载在树上。
- 统一树作为总控制器，各个存储组件各自实现自己的匹配、驱逐、内存管理规则；解决混合架构模型的KV共享难题。
Unified Memory Pool统一内存池 + Compaction内存压缩
- 不再预先给不同类型KV缓存划分固定内存大小；整块物理内存动态分配，根据真实负载自动分配给full‑attention、window‑KV、recurrent state。
- 内存反复分配释放会产生大量内存碎片；Compaction操作通过低时延内存拷贝重新整理物理页，修改虚拟页映射，上层虚拟ID不变，消除碎片。
拓展：Miles推理引擎嵌入RL训练循环
- Miles、XLA项目，把推理引擎嵌入强化学习训练循环；支持完全异步执行，生成和训练可以并行跑不互相阻塞。
收尾预告XLA峰会，Q&A结束整个分享

DEV Community: cognitalk

What Remains: AI, Death, and Loss | 被害人姊姊 Stacey Wales：AI 弟弟沒有原諒兇手

讨论的核心情况与亮点：

Turing Award Winner(David Patterson): The Difference Between a CPU, GPU, and TPU | GPU 和 TPU 的本质区别

以下是访谈的主要内容梳理：

1. CPU（中央处理器）：通用计算的基石

2. GPU（图形处理器）：从图形渲染到并行加速

3. TPU（张量处理器）：为 AI 而生的专用加速器

4. 为什么需要架构分工？（摩尔定律放缓的背景）

GPU与TPU的区别一句话通俗总纲

1. GPU 理解：一大群灵活的小工人

2. TPU 理解：专门造的矩阵乘法流水线工厂

3. 最核心本质区别（浓缩版）

4. 回答你的问题：为啥两个都能加速神经网络？

补充两个常见容易混淆的点（给你原文做升级）

BI 249 Michael Cole: Brain Flows are the Units of Cognition | Michael Cole访谈：脑流（Brain Flows）——作为认知基本单元的大脑网络动力学

全文标题：Michael Cole访谈：脑流（Brain Flows）——作为认知基本单元的大脑网络动力学

通俗整体解读

分段详细要点（按文本token占比估算时间百分比）

第（一）部分 播客开场：介绍嘉宾与《脑流》书籍核心命题（0%‑12%）

第（二）部分 什么是脑流？脑流、功能连接、有效连接的概念辨析（12%‑32%）

第（三）部分 活动流建模（Activity Flow Modeling）的诞生思路与工作机制（32%‑52%）

第（四）部分 全局流动层级、流动碰撞器、组合性、新颖性（52%‑68%）

第（五）部分 基于脑流理论解读创造力、顿悟现象（68%‑78%）

第（六）部分 情绪、精神障碍：失常的脑流动模式（78%‑86%）

第（七）部分 意识、流体化大脑状态，对比现有意识理论（86%‑92%）

第（八）部分 脑流视角看待当今人工智能，人脑与AI核心差异（92%‑97%）

第（九）部分 总结：脑流范式对神经科学领域的颠覆，播客收尾（97%‑100%）

[arXivPaper] New Formula for AI Superintelligence | AGI 规模化，取决于系统 1 放行系统 2 的操作吗？

论文《Does Scaling Toward AGI Depend on What System‑1 Lets System‑2 Execute?》（arXiv:2610.39497）章节要点+通俗解读

摘要 Abstract

章节要点

通俗解读

第1章 The Interaction Problem at Scale 大规模下的交互难题

章节要点

通俗解读

第2章 Conditional Interaction As A Co‑Design Strategy：条件交互，协同设计策略

章节要点

通俗解读

第3章 Co‑Designing the Two Systems：两套系统的架构与协同缩放

章节要点

通俗解读

第4章 What Prediction Buys, and Why a Small System‑1 Can Work：预判带来的收益，为什么小System‑1够用

章节要点

通俗解读

第5章 Conditional Interaction Across Digital and Physical Domains：数字&物理领域的实例

章节要点

通俗解读

第6章 Conditional Interaction at Test Time：推理测试阶段的条件交互

章节要点

通俗解读

第7章 A Testable Scaling Hypothesis, and Open Problems：可验证缩放假设 & 开放问题

章节要点

通俗解读

第8章 Conclusion 总结

章节要点

通俗解读

附录A：数学证明

附录B：数字/物理场景获取函数

全文一句话大白话总结

[LS] How Legora Built a $100M ARR Legal AI Business — CTO Jacob Lauritzen | 看不见数据的困局：Legora CTO揭秘如何为法律行业构建AI智能体

看不见数据的困局：Legora CTO揭秘如何为法律行业构建AI智能体

一、通俗易懂的整体解释

二、详细分段与要点

What Becomes Scarce When AI Flows Like Water and Electricity? | AI普惠时代，什么最稀缺？

AI普惠时代，什么最稀缺？

Start Question：

Answer

一、先定义清楚：“智能自来水”到底抹平了什么？

二、第一大类稀缺：不是执行力，是【明确、稳定、可验证的意图 + 价值判断】（短期最值钱）

三、第二大类稀缺：【可信事实、可确权、可追溯的知识与资产】（非常硬的稀缺）

四、第三大类稀缺：【执行力：数字世界里的可靠履约智能体】（你提到的执行力）

五、第四大类稀缺：【具身智能：物理世界的履约】（中长期大赛道，但门槛完全不一样）

六、还有一类超级稀缺：【注意力、信任、关系、身份】（很多人漏掉）

七、把几条主线浓缩成一张对照（方便你记忆）

八、一个很重要的避雷：不要把“稀缺”等同于“最贵”

九、回到你的问题一句话总结

Deep Dive into LLMs like ChatGPT by Andrej Karpathy | 大语言模型（如ChatGPT）深度解析：训练全流程、底层原理、缺陷与未来发展

大语言模型（如ChatGPT）深度解析：训练全流程、底层原理、缺陷与未来发展

一、通俗易懂整体解读（类比+关键比方）

第（一）部分播客开场：介绍嘉宾与《脑流》书籍核心命题（0%‑12%）

第（二）部分什么是脑流？脑流、功能连接、有效连接的概念辨析（12%‑32%）

第（三）部分活动流建模（Activity Flow Modeling）的诞生思路与工作机制（32%‑52%）

第（四）部分全局流动层级、流动碰撞器、组合性、新颖性（52%‑68%）

第（五）部分基于脑流理论解读创造力、顿悟现象（68%‑78%）

第（六）部分情绪、精神障碍：失常的脑流动模式（78%‑86%）

第（七）部分意识、流体化大脑状态，对比现有意识理论（86%‑92%）

第（八）部分脑流视角看待当今人工智能，人脑与AI核心差异（92%‑97%）

第（九）部分总结：脑流范式对神经科学领域的颠覆，播客收尾（97%‑100%）

Exploring Nowhere Bookstore with Yinuo & Janice | 飞地书店，让我看见华语世界另一种表达--一诺张洁平

第（一）部分开场Francois演讲：为什么推理的重要性是训练的12倍（0%‑24%）