Chelsea Finn: This is the State of the Art in Robotics | 迈向通用机器人：从实验室到现实世界的实践之路

https://www.youtube.com/watch?v=cRZNwgvcWUg

迈向通用机器人：从实验室到现实世界的实践之路

通俗易懂的整体解释

这个视频是Chelsea Finn关于“物理智能”（Physical Intelligence）现状的演讲。简单来说，她和她创立的公司正在做一件很酷的事情：让机器人能做任何事，而且不只是实验室里表演，而是要在真实世界里真正帮上忙。

关键要点：

1. 目标：开发能在现实世界中长时间稳定工作的“通用”机器人，而不是只能干一种活的专用机器。
2. 挑战：和聊天机器人不同，机器人犯错会直接影响物理世界，所以必须极其可靠。它们需要像人一样有“记忆”，才能完成复杂的多步骤任务。
3. 方法：他们用了一种高效的“强化学习”方法。就像一个学生自己练习做题，遇到不会的请老师（人类）指点一下，然后不断改进，直到非常熟练。
4. 成果：
   • 高可靠性：机器人能连续13小时稳定制作拿铁咖啡，成功率超过90%。
   • 通用模型：他们训练了一个叫“π0.7”的单一模型，这个模型“出厂”就能干折叠衣服、组装零件、换垃圾袋等多种不同的活儿，效果甚至超过了为特定任务训练的专用模型。
   • 举一反三：这个模型表现出了惊人的“组合泛化”能力。比如，它从未学过如何在某个新型号机器人上叠衣服，但第一次尝试就成功了；它也学会了如何处理训练数据中几乎没有出现过的“空气炸锅”。
5. 未来：他们认为机器人领域正处在一个类似ChatGPT诞生前夕的关键节点，虽然大规模普及还需要时间，但基础已经打好。

---

详细分段与要点

第一部分：开场与背景介绍 （0% - 8%）

1. 演讲主题与公司介绍
   演讲者Chelsea Finn宣布今天的主题是“物理智能”（Physical Intelligence）的最新技术水平。两年前，她创立了名为“Physical Intelligence”的公司，目标是开发能让任何机器人在现实世界中完成任何任务的通用技术。

2. 一年前的进展回顾
   在去年的同一活动中，她展示了公司的一些成就，例如机器人能够完成折叠衣物、卸载和折叠洗衣等复杂任务。同时，她也首次展示了机器人能够在从未去过的环境中执行有用任务。

3. 最新的突破性演示
   自去年以来，机器人又学会了许多新技能。例如，清洗油腻的平底锅、削胡萝卜皮、制作烤奶酪三明治、切西葫芦等。但本次演讲的重点并非展示这些酷炫的视频，而是要探讨如何让机器人在现实世界中真正变得有用。

4. 两大核心议题
   要实现有用的通用机器人，需要解决两个核心问题：第一，如何开发通用模型；第二，如何将这些模型带入现实世界，使其产生实际影响。演讲的第一部分将聚焦于“在现实世界中变得有用”。

第二部分：从AI历史看物理AI的特殊性 （8% - 20%）

1. 机器学习在现实世界中的应用历程
   回顾过去，机器学习最早的成功应用是产品推荐和广告排序。随后，深度学习被用于同样的场景。而更激动人心的里程碑是2022年ChatGPT的发布，这是第一个被大众广泛使用的通用模型，5天内就获得了百万用户。最近的例子还包括Claude Code等编码助手。

2. 成功AI应用的共同特点：辅助决策而非自主行动
   观察这些成功的应用，可以发现一个共性：客户是根据AI模型的建议来做决策。这意味着，即使系统犯了错误也没关系，因为人可以识别错误并做出最终决定。因此，对这些系统的完美性要求并不苛刻。

3. 物理AI的根本不同：必须自主且少犯错
   物理AI（机器人）直接在物理世界中操作，必须自主做出影响物理世界的决策。因此，它们只有在完全自主运行时才更有用。这要求我们开发的物理AI系统必须比以往部署的机器学习系统犯的错误少得多。

4. 希望的曙光：Waymo的成功案例
   一个令人兴奋的进展是一年前，Waymo实现了每周25万次的全自动驾驶出行服务。这表明，基于机器学习的系统确实可以在物理世界中以值得信赖的方式自主运行，这为其他领域的物理AI带来了乐观的希望。

5. 核心结论：实现长期自主性是关键
   为了让通用机器人在现实世界中有用，必须思考如何让它们长时间保持自主状态，而不是像之前的AI那样仅仅作为人类的决策辅助工具。

第三部分：实现长期自主性的方法论——高效强化学习 （20% - 38%）

1. 具体案例：让机器人制作浓缩咖啡
   为了探讨长期自主性，演讲者以“制作浓缩咖啡”为例。这项任务需要精确有力的控制（如插入手柄）、平稳地处理装有液体的杯子以及精准的计时能力。更重要的是，我们希望机器人能以超过90%的可靠性完成这个任务。

2. 传统方法的局限性
   标准的机器学习流程是收集数据、训练模型、评估效果。但这很少能一次成功。手动迭代（收集更多数据、改善标签质量、调整数据平衡）虽然能提升性能，但很难达到极高的可靠性。

3. 理想方案：让AI自我迭代
   更好的方法是让AI系统自动寻找需要更多数据的地方，并自行迭代改进。这类似于一个强化学习算法，它自己尝试任务、从失败中学习，并不断进步。

4. 将语言模型的强化学习应用于机器人面临的挑战
   语言模型的强化学习算法（如PPO、GRPO）通过数百万次甚至上千万次的尝试来优化，每次尝试只是在数据中心消耗算力。但如果将这个模式直接套用到机器人上，假设需要100万次一分钟的机器人任务轨迹，这将相当于700天的机器人工作时间。这在现实中极具挑战性，因为机器人需要在真实世界中运行硬件。

5. 提高效率的两个关键改进

   • 避免死胡同轨迹：机器人可能会陷入无法完成的错误路径。与其让它浪费时间，不如让人工介入，远程操控机器人，向它展示如何从错误中恢复，从而高效利用机器人的运行时间。
   • 学习通用的“好坏”判断器：语言模型的强化学习会对同一个提示进行多次尝试来评估好坏。在机器人领域，可以训练一个通用的“价值函数”，它能从大量机器人经验视频中学习判断什么是好的进展、什么是坏的进展。这样就不需要对每个新任务都从头进行大量尝试，大大提高了学习效率。

6. 总结出的高效学习框架
   结合以上两点，形成了一个通用的改进算法：先在多样化数据上训练一个基础模型，然后在模型运行时由人类适时介入以避免死胡同，接着训练一个通用的价值函数来评估行为好坏，最后用这个价值函数来指导模型的进一步改进。

第四部分：高效强化学习的实际应用与成果 （38% - 52%）

1. 案例一：制作拿铁咖啡
   机器人负责制作浓缩咖啡，人与之协作。模型直接根据摄像头图像控制机器人关节。它成功地完成了插入手柄、等待萃取、倒入牛奶等任务。最具挑战性的部分是平稳地将装满拿铁的杯子转移到杯垫上，整个过程非常精细，没有洒出液体。

2. 可靠性测试
   为了验证可靠性，他们让机器人连续13小时不间断地制作拿铁。结果显示，机器人足够可靠，能够在长时间内不频繁出错，达到了实用的标准。

3. 案例二：工厂纸箱作业
   同样的算法被应用于蒲公英巧克力工厂的真实工作流：构建、贴标和堆叠纸板箱。经过训练，机器人能够非常可靠地完成这一整套流程。

4. 案例三：多环境下的衣物折叠
   该算法还被用于折叠和整理衣物。测试环境是机器人从未见过的家庭，使用的是从未见过的衣物。机器人能够在此环境下长时间自主运行。

5. 定量结果

   • 在纸箱任务中，从预训练阶段到SFT（监督微调）阶段，再到RL（强化学习）后训练阶段，吞吐量（衡量成功率和速度的综合指标）显著提升。仅RL阶段就使吞吐量提高了约2倍。
   • 在制作浓缩咖啡的任务中，成功率达到了90%以上。

6. 阶段性结论
   他们已经开发出一种可扩展的方法，用于实现复杂机器人操作任务的高可靠性。最重要的是，这证明了在人们关心的真实工作流中实现长期自主性是可能的。当然，机器人仍会犯错，速度也比人慢，还有很大的改进空间。

第五部分：长期自主性的另一个关键要素——记忆系统 （52% - 62%）

1. 记忆的重要性
   目前最先进的机器人基础模型大多没有记忆，只根据当前的传感器输入来预测动作。这对于短时或重复性任务可行，但对于需要按顺序执行多个不同步骤的长周期任务，记忆至关重要。

2. 为什么现有模型缺乏记忆？
   技术上的一大难点在于计算成本。如果将10秒、50Hz的四路摄像头视频直接输入模型，会产生海量的Token（约50万个）。即使降低采样率，10秒的记忆也需要1万个Token，这在实时推理中依然过于昂贵。

3. 解决方案：多时间尺度记忆
   他们开发了一套多时间尺度的记忆系统来解决这个问题：

   • 短期视频记忆：存储约10秒的视频信息，但以一种远低于直接输入模型的计算成本的方式进行处理。
   • 长期文本记忆：对于跨越几分钟或几小时的记忆，不需要精确的视频记录。取而代之的是，用文本摘要的形式总结过去10-15分钟内发生的事情，并将这个高度压缩的文本信息输入模型。

4. 应用实例：清理厨房
   借助这种多尺度记忆，机器人能够执行一项长达10-15分钟的非重复性任务——清理厨房。任务包括用海绵擦拭台面、用纸巾擦干台面并扔掉纸巾、将芥末酱放回冰箱、将盘子放入橱柜、清洗脏碗碟等一系列步骤。机器人成功地全程自主完成了这个需要追踪进度的复杂任务。

第六部分：迈向真正的通用模型——从专用到“开箱即用” （62% - 82%）

1. 回顾通用AI的发展历程
   演讲者对比了通用AI的发展阶段：

   • 2012年：深度学习系统首次在ImageNet基准测试上击败了专门设计的系统。
   • 2014年后：预训练+微调成为主流（如BERT）。
   • 后来：进入“开箱即用”的通用模型时代（如GPT系列）。
   • 2021年：模型展现出“组合泛化”能力（如DALL-E），能将“牛油果”和“椅子”的概念组合成“牛油果椅”。

2. 机器人领域的现状
   直到几年前，机器人领域还处于“从零开始收集数据并训练”的阶段。最近，虽然有了不错的预训练模型，但离“开箱即用”的通用模型还有距离。

3. 两个核心目标

   • 目标一：开箱即用的模型。目前的顶尖模型仍需针对特定任务进行微调才能获得最佳性能。目标是开发一个单一模型，无需微调就能完成所有你想让它做的事。
   • 目标二：组合泛化。模型应能从概念层面理解事物，并能将学到的技能灵活组合，应用到未曾见过的场景中，而不需要训练数据覆盖所有可能的组合。

4. 实现路径：海量数据 + 大容量模型 + 精细提示

   • 数据：使用所有可用数据，包括多样化的机器人演示数据（即使是低质量的）、机器人自身尝试的轨迹数据、人类视频、网络数据等。
   • 模型：训练一个足够大的模型。关键在于，要用丰富的“上下文提示”来引导模型，使其能有效利用这些异质数据。这些提示包括：记忆、任务指令、下一步的子任务指令、指示数据质量的元数据，以及可选的“子目标图像”（告诉机器人几秒后应该到达的样子）。

5. 成果：π0.7模型

   • 单一模型，多种能力：一个名为π0.7的单一模型，可以执行折叠衬衫、精密组装（拧螺丝）、更换垃圾桶垃圾袋等多种任务。
   • 超越专用模型：在制作咖啡和搭建纸箱等任务上，这个单一的π0.7模型的表现匹配甚至超越了之前通过强化学习微调得到的专用模型（π0.6）。这表明，他们已经成功开发出一个“开箱即用”且性能强大的通用模型。

第七部分：通用模型的组合泛化能力验证 （82% - 92%）

1. 测试一：与罕见物品交互
   他们测试了机器人是否能用几乎没在训练数据中出现过的电器——“空气炸锅”。机器人成功完成了打开空气炸锅、放入红薯、关闭空气炸锅的一系列操作。这证明模型能够将“打开/关闭”的技能与一个新物体组合起来。

2. 测试二：跨机器人平台泛化
   他们测试了模型能否在没有相关训练数据的情况下，在一个全新的、体型巨大的工业机器人平台上完成折叠衣物的任务。结果，这个机器人第一次尝试就成功折叠了一件衬衫，尽管它从未见过相关的训练数据。这证明了模型具备跨任务、跨机器人平台的强大组合泛化能力。

3. 定量分析：什么最重要？

   • 多样化数据是关键：移除最多样化的那部分数据，模型在新任务上的性能会急剧下降。而随机移除等量的数据则影响较小。这说明数据的多样性至关重要。
   • 精细提示（元数据）是催化剂：在加入低质量数据时，如果没有元数据提示，模型性能反而会下降；但有了元数据提示，性能则会提升。这表明精细的提示能让模型从低质量数据中榨取更多价值。

4. 阶段性结论
   他们成功训练出了一个单一模型，其性能匹配或超越了专用的后训练模型，实现了类似从BERT到GPT的飞跃。同时，模型展现出了类似DALL-E的组合泛化能力，能将技能应用于新物体和新机器人上。

第八部分：现状总结与未来展望 （92% - 100%）

1. 机器人领域的“GPT/DALL-E时刻”
   演讲者认为，物理智能现在已经稳固地进入了通用AI发展时间线的右侧，进入了类似GPT和DALL-E的时代。这个过程只用了短短几年时间，非常令人振奋。

2. 模型的实际部署与应用
   这些模型已经在现实世界中得到部署。例如，一些初创公司（Ultra, Weave）利用PI的模型进行后训练，用于折叠衣物和仓库包装。此外，该模型还能适配多种不同的机器人形态，如无人机、四轴飞行器、手术机器人和拖拉机。这真正展示了物理智能不仅停留在演示和研究层面，而是可以产生实际影响。

3. 招聘信息
   演讲者最后提到，Physical Intelligence公司正在招聘，欢迎感兴趣的人申请。

第九部分：问答环节 （100% - 结尾）

1. 问题：距离机器人领域的“ChatGPT时刻”还有多远？

   • 答：可能不会像ChatGPT那样有一个爆发性的瞬间，因为物理硬件的分发渠道更慢。但在能力方面，我们已经接近让模型在现实世界中有用的临界点，未来几年内有望实现。

2. 问题：小团队何时应从专用模型转向通用模型？

   • 答：建议立即开始使用现有的开源通用模型（如PI0.5），并进行微调。除非团队面临极端的资源限制（如无网络、GPU差），否则这是最有效的起点。

3. 问题：在当前快速发展的行业中，读博的利弊是什么？

   • 答：博士是一个绝佳的机会，可以学习如何处理不确定性、选择有价值的研究课题。这在创业和AI前沿领域非常宝贵。但同时，行业中也存在大量优秀的工程和研究机会。这是一个非常个人化的决定。

4. 问题：机器人的“互联网规模数据集”是什么？

   • 答：核心是机器人在真实世界中的操作数据。可以通过遥操作收集初始数据，未来更多地将来自机器人自身的自主尝试。人类视频和网络数据也有帮助，但无法替代机器人自身的体验。

5. 问题：通用机器人模型会像LLM一样通过开源民主化吗？

   • 答：不确定。实体数据和硬件的成本可能是个障碍。但乐观地看，已经有很多大型数据集和强大模型被开源，许多公司也支持开源以构建生态系统。

6. 问题：模型输出的是原始电机指令还是目标位置？

   • 答：模型输出的是目标关节角度，然后由底层控制器（PD控制器）去实现。也可以输出目标抓手位置。直接输出电机扭矩也有其优点。目前的方法不是瓶颈。

7. 问题：机器人是否需要“想象力”？

   • 答：π0.7模型已经具备类似能力（想象未来图像并努力达成）。实验证明这有帮助，但即使没有想象力，模型也能表现出色。这可能是一个有益但非必需的组件。

8. 问题：如何提高机器人的速度？

   • 答：强化学习已经带来了速度提升。一个瓶颈是遥操作数据本身较慢。未来的方向是让机器人比提供数据的人类更快，或者找到更快的数据采集方式。

9. 问题：最近看到的最令人惊讶的任务是什么？未来想看到什么？

   • 答：最惊讶的不是某个任务，而是在训练π0.7组装风车时，机器人意外地学会了左右手的“等价性”，用从未训练过的左手完成了插针动作。这是一种涌现能力。未来希望看到机器人能在更长的时间内拥有更高的可靠性。

10. 问题：软件工程师如何转行进入机器人领域？

    • 答：可以先加入机器人公司做软件工程师。另一个好方法是购买便宜的机器人，动手尝试微调开源模型，分享自己的成果。实践经验和热情非常重要。