Jacob对LSTM之父Jürgen Schmidhuber的访谈

https://www.youtube.com/watch?v=RKjR8DQ40po
这期视频是主持人 Jacob 对被誉为“AI之父”的传奇学者 Jürgen Schmidhuber 的访谈。他不仅是 LSTM（长短期记忆网络，现代 AI 的基石之一）的奠基人，对今天大模型背后很多核心算法也有极深的影响。

Schmidhuber 在视频里用非常客观（甚至有点泼冷水）的视角，聊了聊现在的 AI 热潮。我们可以用几个通俗易懂的“大白话”核心观点来理解他说了啥：

1. 真正的“通用人工智能（AGI）”被硬件卡脖子了

大白话解释： 很多人觉得现在的 ChatGPT 已经无所不知了，快要统治世界了。但 Schmidhuber 认为，真正的智能不能只活在屏幕后面 [00:01:57]。
他觉得现在的机器人硬件太差了。人类的一只手有数百万个传感器、能自愈，现在的机械臂根本比不上 [00:25:50]。如果一个 AI 连物理世界都搞不定（比如像他妈妈当年要求的那样：做个能帮我扫厨房的机器人 [00:25:23]），那就不能叫真正的 AGI。所以，这条路可能还要走几十年 [00:28:21]。

2. 现在的 AI 巨头正在“乱砸钱”，未来可能暴雷

大白话解释： 现在的科技巨头（微软、谷歌、Meta 等）每年砸成百上千亿美元去买英伟达的显卡、建数据中心、甚至买核电站来发电 [00:29:36]。
Schmidhuber 算了一笔账：按照历史规律，每过 5 年，同样价格能买到的算力会翻 10 倍 [00:27:18]。也就是说，今天巨头砸 1000 亿买的设备，5 年后可能只值 100 亿，直接亏掉 900 亿 [00:27:24]！加上开源模型（比如 Llama 等）追得非常紧 [00:32:40]，导致闭源模型没办法收高价。所以他预测，股市里现在的 AI 泡沫早晚会经历一次大回调（暴雷） [00:37:37]。

3. 未来的 AI 应该像“婴儿”一样自己探索，而不是天天背书

大白话解释： 现在的 ChatGPT 为什么这么了解人类？因为它把整个互联网上的网页都背下来了。但网页是人类写的，带有极强的人类偏见 [00:14:07]。
他认为未来的 AI 应该像“人工科学家”或“婴儿”一样 [00:15:01]：婴儿不是通过下载互联网学习的，而是通过晃动手指、观察世界、自己做实验来理解物理规律的 [00:15:32]。AI 应该拥有“好奇心”，自己去探索未知的边界，学到新规律时它会获得“内部奖励”（类似于人类恍然大悟时的“爽感”） [00:20:21]。

4. 为什么不用太担心 AI 毁灭人类？

大白话解释： 很多人担心 AI 变成“终结者”毁灭地表。但 Schmidhuber 很淡定，他甚至拒绝签署那些呼吁限制 AI 发展的公开信 [00:38:36]。
他的逻辑很独特：高级的 AI 本质上都是“科学家” [00:43:04]。科学家对什么最感兴趣？当然是生命、文明的起源以及它们的历史。因此，超聪明的 AI 不但不会毁灭人类，反而会像人类保护濒危动物或者考古学家保护古迹一样，极具动力地去保护人类——因为人类是它们“有趣的起源” [00:43:18]。

5. 终极未来：AI 机器人自我复制，向宇宙进发

大白话解释： 在视频最后，他描绘了一个科幻电影一样的场景：未来的机器人不需要多绝顶聪明，只要聪明到能操控人类现有的工厂和机器就行了 [00:49:25]。
这样，机器人就可以自己制造更多的机器人（自我复制和改良） [00:49:18]。而且它们不需要氧气和水，所以它们会离开地球（生物圈），去月球、去水星建立基地，开采资源，最终去殖民整个太阳系 [00:49:51]。

详尽版内容如下

根据这份《Unsupervised Learning》对 Jürgen Schmidhuber 的访谈转录，按内容语义块 + token 占比估算时间百分数，给你拆成 9 段。由于你给的是 DownSub 纯文本（丢失了原始时间轴），百分数按"各段字符数 / 全文总字符数"近似折算，只能当相对位置用，不是精确秒数。

全文总标题

AI 先驱 Schmidhuber 冷眼看当下：递归自改进、算力泡沫与"屏幕外 AGI"的漫长路

第一部分开场引言：Schmidhuber 是谁，这期聊什么（约 0%–5%）

主持人 Jacob 先抛了个钩子——聊到机器人硬件远不如人体、AGI 不能只活在屏幕后，然后引入嘉宾：

嘉宾分量：Jürgen Schmidhuber 被《纽约时报》《福布斯》称为"AI 之父"，是当前 AI 革命里多项核心技术的幕后人物。
本期话题预告：
- 当前模型缺什么、怎样才造得出能自己推进科研的"人工科学家"
- 为什么他认为这一轮 capex 狂潮严重过头
- 对模型公司"深度悲观"、对技术"深度乐观"
- 递归自改进（RSI）不会成为大厂的护城河
- AI 安全为何他比圈内很多人淡定
过渡："不废话，上 Jürgen"。

第二部分终极目标"造一个比我聪明的 AI"，以及屏幕里的 AI vs 物理世界的 AI（约 5%–14%）

Jacob 从高层面开场：Jürgen 几十年的目标是造出比自己聪明的 AI，现在多近了？

宇宙尺度的"很近"：从宇宙视角看，跟 1970 年代他第一次许愿时一样近——"很近"，但是是几年还是几十年不好说。
True AI ≠ 过图灵测试的屏幕 AI：
- 屏幕里的 AI 已经工作得很好、过了图灵测试
- 但真 AI 还要有真实机器人、真实机械，在物理世界里跑——这块差得多
硬件短板：人手的传感器、线缆、自愈能力，人造技术完全比不了；物理 AI（Physical AI）还有得走。
近年有没有被惊到：
- 答案是"没有"，至少不像圈外人那样被 ChatGPT 时刻震惊
- 大模型的长历史、训练算法的基础洞察，"上一个千年"（2000 年前）就有了，他是局中人，预测得来
- 没接触过神经网络的人才会"突然"觉得这东西新

第三部分递归自改进（RSI）的技术史：从 1987 到今天（约 14%–32%）

Jacob 切入 Jürgen 的老本行——meta-learning / RSI，他这边是开山派。

1987 – Meta Evolution（元进化）：
- 用进化编程去"进化更好的程序"，这些程序再学怎么更好地进化
- 达尔文式，层层叠加，代码组合越来越优
1994 – 自指强化学习机：
- 用通用编程语言生成对任意自修改代码，机器与环境交互
2003 – Gödel Machine（哥德尔机）：
- 数学意义上最优的自改进框架
- 机器有一套初始软件，想改自己之前，先要在软件里做证明搜索——证明这次修改比起"不改"能带来更高的期望奖励（奖励求和 − 痛苦信号求和）
- 形式化证明才执行修改
- 但比不上后来 1992 年起的"神经网络自己改权重矩阵"实用
当前主流 RSI 其实是 Gödel Machine 的缩水版：
- 更像早期的神经网络：权重 + 梯度下降改权重
- RNN 本身是通用计算机，可以在上面跑任意学习算法
- 1990s 算力贵 1000 万倍只能玩玩具，今天能显示 meta-learning 泛化优势
局限：今天的改法靠梯度下降、可微分，所以有梯度下降的天花板——不是最优的 Gödel Machine，但实践中很好用。

第四部分 RSI 会是"渐变无聊"还是"断点起飞"？智能 = 懒惰（约 32%–41%）

Jacob 抛经典问题：回头看 RSI 会像 gradual 还是 discontinuity？

宇宙视角的"断点"其实是平的：
- 文明 1.3 万年 vs 地球 138 亿年 = 百万分之一，就是一道闪
- 农业 / 动物驯化 / 第一个 AI 几乎是同一个人（玩笑话）
- 自动化从农业→体力→几百年前开始自动化"思考"（计算器）
- 所以回头看："本来没有，突然有了"
亲历者视角当然觉得猛。
智能的本质 = 偷懒（Laziness）：
- 智能体想用最少能量、最少努力拿到结果
- 所以自改进系统里要加"唤醒神经元就罚能量"的额外成本项，塞进目标函数
- 自然结果：同样的事越做越省资源——这就是智能行为的副产品
- 也是 RSI 长期看算力需求反而可能降的希望所在

第五部分当前大模型的问题：人类偏见太重，未来属于"人工科学家 + 人工好奇心"（约 41%–54%）

Jacob 问：如果你去管一个 lab，你会让他们换什么打法？

当前做法合理但不通用：预训练 LLM → 让它写代码 → 改自己的代码，很多 lab 在搞，加 safeguard 就行。
根本问题：预训练在人类生成数据上 = 严重人类偏见：
- 互联网数据之所以存在，是因为"某个正常人觉得这有趣"
- 所以 LLM 超级偏向人类语言、人类觉得有趣的视频、人类行为
- 对人类"对齐"了，但也锁死了
Jürgen 1990 年的"Artificial Curiosity（人工好奇心）"路线：
- 一个 agent 活在未知环境里，靠"预测自己动作的后果"建世界模型，再用世界模型规划
- 数据是自己动作生成的，用来训世界模型——这才是婴儿学法：手一动画面变，学物理、学手指、学世界
- 互联网数据看似海量，其实是"自己实验能采的数据"的九牛一毛
未来 AI 的方向：通过自己动作 + 好奇心采数据 → 训世界模型 → 不依赖人类语言、围绕具体机器人定制，机器人之间再通信共享
"自动发现闭环"才是梦：今天材料/生物/机器人的自动 lab 还是人类决定采什么数据，真正 AI-driven discovery loop 还没到

第六部分 "趣味形式理论"与 AI 化学 / 机器人的硬件困局（约 54%–66%）

接上一段，Jürgen 把"人工科学家"讲得更细，再转到机器人。

1990s《Formal Theory of Fun & Creativity》：
- 基本需求满足后（吃饭 3 次/天），科学家/艺术家/喜剧演员干嘛？自己发明新问题，而不只是答别人给的题
- 科学的两件事：解题 + 发明好问题
驱动原理很简单：
- 用自创实验找数据，数据里要有"我还没懂但快懂了的规律"（已知与未知的边界）
- 规律 = 可压缩性：看懂之前要很多 bit 编码，看懂之后只要很少 bit，差值 = fun / 内在愉悦
- 这愉悦反过来奖赏控制器，让它生成更多能带来新洞察的实验
- 看懂的就无聊了，往更难的实验走——婴儿学重力 → 20 年后在 CERN 找 Higgs，区别只是实验贵
简单 AI 科学家已经有了，只是没等到"ChatGPT 时刻"：
- 化学领域：输入-输出对训 NN → 直觉化学家（不懂价电子但直觉准）→ 反推"要什么输入才能出我要的 output"
- AI 化学十年内可期
实例项目（KAUST？上下文提 cow 可能是口误/缩写）：用 MOF（金属有机框架）从稀空气中捕 CO₂，目标是便宜到能撼动全球变暖
机器人段：
- 70 年代跟妈说"AI 要殖民宇宙"，妈说"先给我造个能打扫厨房的机器人"——到现在也没搞定
- 人手：百万传感器 + 线缆 + 自愈，人造手放哪儿都不知道
- 电影里的机器人都是人演的，因为人比机器人更像机器人
- AGI 不能只有屏幕那侧：屏幕里过图灵测试、下棋超人，都不是 AGI；物理 AGI 差得远
- 人手级灵巧（强抓 + 精细操作）要多久？可能还要几十年，比算力曲线难预测多了

第七部分算力 capex 泡沫论：万亿 GPU 投资 5 年亏 9000 亿（约 66%–78%）

Jacob 把话头切到商业侧，接 Jürgen 之前"机器人段里顺手抛的 crash 暗示"。

算力性价比曲线：每 5 年 10 倍， decades 级规律。
推论：今天投千亿美金建 GPU 数据中心 → 5 年后同等算力只要 1/10 价 → 这千亿的账面残值大概只剩 100 亿，"亏 9000 亿"
反驳"推理需求无限所以旧卡也能用"：
- 有人买单才行。现在几家巨头一年烧千亿美金买 GPU，原本是轻资产软件公司，现在被迫变公用事业（电厂、核电、气轮机），自由现金流从 1000 亿→100 亿甚至负 100 亿
- P/E 看不出来是因为 FCF 没进分母，但这些公司在变低效
- 举债再扩，总有天花板，然后估值回撤 → "renormalization"
不是文明崩溃，是股市回调：misallocation 被市场教做人，不至于世界末日
闭源模型有没有护城河？
- 开源追得极紧：闭源破个 benchmark，几个月开源就追上 → 定价压力巨大
- 理智做法"等 5 年算力便宜 10 倍、等 10 年便宜 100 倍"，但大厂怕丢 market share、怕错过"第一个 AGI 通吃世界"
- Jürgen 认为这种 outlook 过度乐观，当前"算力还不够快就猛砸"会反噬
RSI 会不会是大厂护城河？ 不会：
- RSI 的核心算法几乎都不是大厂发明的，都是小 lab、穷 PhD 搞出来的
- "everybody's cooking with the same water"
- 任一家先摸到 RSI，生态里也会快速扩散，靠 RSI 做长久 moat 不可能

第八部分 AI 安全：为什么 Jürgen 不签那些公开信（约 78%–88%）

Jacob 问：你对安全是不是比圈内其他人淡定？这些年想法变没？

2010s 的安全/对齐会议 + 联名信（呼吁禁某些 RSI），Jürgen 一个没签。
"对齐"这个概念本身天真：
- 10 个人类关一屋，对"什么对人类好"都达不成共识，谈什么 align AI 到"人类需求"？
- 而且 1990 起他们做的"人工科学家"本来就自己发明目标函数——"系统目标不变"这个前提在他眼里就不成立
现实世界早就不对齐了：乌克兰战场，两边 AI 无人机互殴，哪来的 alignment
真要聪明 AI，就得让它自己设目标：
- 自问"我做这个会怎样"、自设问题 → 才聪明得起来，代价是不可预测
- 人类小孩也一样不可预测，父母靠"做坏实验就罚"（放大镜烧蚂蚁→骂）教成社会人
- 机器人同理：长期惩罚-奖励塑形
更高层的保护机制：超高阶 AI 是"科学家"，会对生命、对自身起源、对催生它的文明极度感兴趣——感兴趣 = 动机保护源头，而不是毁掉源头
- 所以 Terminator 式恐慌没必要

第九部分快问快答：研究方向、好研究者特质、Transformer 走向、博客与收尾（约 88%–100%）

现在时间怎么花：保守派，还在走 70-80 年代的 old school 路线——造通用 AI 比自己聪明，好退休。同一件事做了几十年。
好研究者什么样：他带过的顶尖 PhD，"大问题底下盯一个小东西"——
- 这个权重为什么不这么变？这个网络为啥不听话？
- "devil is in the detail"，一个小遗漏修掉，连续出顶会 paper
Transformer 还能统治 5–10 年吗：
- 某种 transformer 会，但应该是更高效的版本
- 他 1991 年的 "Fast Weight Controller / Linear Transformer"（今天叫 unnormalized linear transformer）是 O(n) 的，2017 那版是 O(n²)
- 1000 倍文本 → 1991 版要 1000 倍算力，2017 版要 100 万倍——这就是数据中心烧钱的根因之一
- 大家都想往线性 / log-linear 复杂度走：SEO 的 xLSTM 就是老 linear transformer 思路的回归
- 回到那句：智能 = 用更少力气做同样的事
去哪看他的东西：Google "Jürgen" 就能找到 blog，有 meta-learning / 人工好奇心 / 趣味形式理论 / 领域史观（CNN 谁发明的、深度学习谁开的）的原文链接，也有"屏幕外的物理 AI + 自复制机器"那套愿景
自复制机器人那段补一句（他在收尾又绕回去了）：
- 几百年来大家谈自复制机器但没人知道怎么做，现在开口了：机器人学会操作已有的人类机器→ 能造更多自己 → 不止复制还能自我改进
- 不一定要超聪明，够学到操作现有产线就行
- 这种"新生命形态"不光在生物圈，月亮/水星上材料多，能铺基础设施、更大 AI、更多机器人、飞船、殖民太阳系
收尾：Jacob 致谢，自报家门（Redpoint 投资人，播客是 night & weekend project），求订阅分享。