https://www.youtube.com/watch?v=dPXZrTw-Hgk
【张小珺访谈】Kay Ke 谈 Physical Intelligence - 上:从网文写手到机器人大脑,一个"独狼玩家"的机器人叙事
第一部分 开场与PI定位:不做人形,来做机器人大脑(约 0% - 8%)
1 主持人开场与人设引入
- 主持人小珺介绍本期嘉宾为硅谷机器人公司 Physical Intelligence(PI)研究员柯丽一鸣(Kay);PI 是硅谷做"机器人大脑"方向颇有名气的创业公司。
- 抛出一个有意思的反差:Kay 除了是机器人研究员,业余还是网文写手,让聊天维度更丰富。
2 Kay 自我介绍与研究/生活两条线
- 日常工作是"教机器人更快更好完成任务",业余偏爱人文、艺术,写小说是情绪表达的一种方式。
- 主持人追问"做机器人和写小说有什么共通"——Kay 归纳为两点:都需要创造力(现有方法不够好,得想新办法;想写的故事还没被写出来,得创造),都需要执行力(研究里想法落地要写代码做工程,写小说一个字一个字码)。
3 科幻写作与硅谷现实的互文
- Kay 平时主要写科幻,痴迷两个命题:①生产力变化后人的生活怎么变;②迥异的未来社会里人与人的关系。
- 命题一和她的工作强相关——AI/机器人把人做的事自动化后,人去干什么,是她每天都会想的问题;命题二是更恒久的,"人性"类东西即便在生产力剧变下也会流传。
4 生产力变化下的人与团队关系遐想
- 从"独狼玩家"(读博时一个想法自己上网探索、攒小队伍解决)到 PI 初创做通用大脑,体会到有些事必须团队协作,每个人在自己擅长处发力。
- 但硅谷最近 Claude Code 这类自动编程工具又让"人与人的关系"松动——以前要找模块负责人确认可行性,现在可能先问 Claude Code;一个人带三四个 Agent 干活,团队协作里"人对人"的依赖被 AI 智能体切走一段。
- 这层关系反过来启发她的小说构思:①个人信息爆炸时代,会不会每人配个小 bot 替你刷互联网、揉碎了喂给你,没有 bot 就"失能";②"独狼式田园牧歌"——将来机器人把家务/修水管(美国永恒难题)/项目执行都包了,一个人拥有相当于现在一个国家生产力的"新原始社会",独狼玩家会很快乐,人和人关系可以更松散。
5 "回到洞穴"与二次元视角下的AI伴侣
- 内向性格让她需要"洞穴时间"回血,硅谷讯息过载反而让"找洞穴"变难,但对洞穴的向往一直有——也不是彻底避世,人终究是社会性动物,待久了还想出来看看。
- 主持人提到"下一代不跟人谈恋爱只跟机器人谈"她不惊讶——老二次元,身边有不少朋友生活方式和老一辈观念很不一样,能理解"不跟人类谈恋爱"、纸片人依恋这些选择。
第二部分 成长路径:安徽芜湖、信息学竞赛、两次换专业(约 8% - 22%)
1 安徽芜湖的竞赛启蒙
- 出生安徽,上学在芜湖("芜湖起飞"梗的城市)。教育资源和大城市有差距,但凑巧碰到一位优秀的信息学竞赛老师江涛——因事故失去双手,回乡当计算机老师,开了系统的竞赛梯次培养(类似奥数班,但她是8岁去当"兴趣班玩电脑")。
- 小学生阶段学的是 LOGO 语言(图形界面画图),觉得"计算机能画画太好玩",顺带打下编程基础;唯一认真读完的编程教材是《中学生学C语言》,递归用"灯神许愿"讲故事讲进去——思维是润物细无声被影响的,没觉得性格被剧烈改变。
2 小学"板寸女孩"到大姐大的叛逆线
- 看起来乖实际叛逆。小学第一天妈妈给剪板寸被嘲笑哭得最惨;小学毕业已经成"大姐大",路见不平会出头("你在干嘛,不行我们来打一打")——骨子里有对公平/正义的追求。
- 高二底一个人剪板寸去东南亚背包,初衷是迷上印度神话建筑想去看,觉得女生独行不安全就扮男生——不是"不安全就不去",是"想干的事得找个方法实现",板寸是最方便的方法。家里没强烈反对,但每天骚扰式查岗。
3 本科两次换专业:心理学→经济学→计算机
- 大一选心理学,觉得有趣但"打破砂锅问到底"的性格不适应——很多结论要很久才能验证,不够直接。
- 转经济学想了解自己生活的世界,但跑报表糅数字没满足感。
- 最后转回更理工的计算机——小时候竞赛的底子让她有探索别的行业再回来的底气。
- 转留学赛道的高中转折点:升学班觉得自己卷不过同班"特别优秀专注"的同学(安徽每1万人里3-4个上清北,大城市可能80个,资源差她有体感),理科喜欢数学物理能享受,生物化学要背就弱。老师劝补短板她想"我为什么要补"——不认同的事提不起劲。
- 另一触发点是叛逆期打游戏《雨血》(Soulframe 做,古龙味互动叙事),一查制作人清华出身还去耶鲁留学——"上清华北大还是有吸引力的,但自己水平够不着,中科大保送又离家太近(爸妈满意她不满意)",顺到"那我也留学吧",高二中间突然转轨。
4 美国文化冲击与性格重塑
- 出国前社会关系太稳定反而感觉不到存在,出了国要重新找定位、"这个人说话什么含义"得重新琢磨,反而能更客观地审视原先的环境和自己的性格。
- 美国/大学注重 presentation 和领导力叙事(和创业者精神不谋而合),把内向的她"逼"成能说话的人——和高中的她比不爱说话,现在的她在交流上提升很大。
- 中英美三国轴对比:中国社会(父母辈动荡机会多、百花齐放)> 美国(200年资本社会、阶级稍固化)> 英国(最保守、阶层固化映射到品味喜好)。"但都到硅谷来了,大家又把旧东西扔了开创新东西。"
第三部分 学术起点:博弈论→对抗机器学习→机器人博士(约 22% - 32%)
1 大一进实验室的巧合
- 美国大学"灵魂之问"文化,大一第二个月就开始投简历——之前高中搞竞赛做过小软件卖钱,能证明"可信、能做事"。
- 投到本校计算机组,遇到学术路上第一个导师李博(后来去芝大当教授,现在也在硅谷创业),选她的原因 Kay 猜是自己学经济学、喜欢博弈论,而李博的课题 Adversary Machine Learning(对抗机器学习)正好需要博弈论思想。
2 博弈论与机器学习的连接点
- 博弈论粗暴归类:两人对抗各自最优,可能收敛到一个对社会整体有益的平衡——这套思想放进机器学习,2016 年对抗 GAN 就是典型(生成器做"假钞",判别器分辨,最后假钞真钞分不出只能靠猜,生成的图就和真的一样)。
- 所以博弈论在机器学习安全、让机器思考/生成更像人这块应用很广,至今如此。
3 博士路线:从模仿学习到强化学习
- 本科那篇一作发了之后申博顺利些。博期间也换方向:原本以为做偏理论机器学习,做着发现更喜欢应用,跳去机器人。
- 自己路线:模仿学习 → 强化学习。模仿学习是"人家会做给你样例,你照抄";但不满足"永远照抄不能有突破",转强化学习——靠自己探索把上限推更高,这点和性格贴。
- 2017 年机器学习+机器人是个新兴但不大众的方向,她进的实验室是传统派(导师 Sidd Srinivasa,CMU 派系,全栈培养:造机器人、动力学、路径规划、控制都得会),整个实验室只有她一个人做数据驱动方向。
4 为什么进传统组做机器学习——"因为懒"
- 优化问题里有一类黑盒优化:"别管它怎么运行的,设计套系统能给出好解就行"——2016-17 年 NLP 的大争论也是这个:传统 NLP 拆语义结构要专家喂,后来数据驱动端到端,中间步骤全略掉。
- 机器人也想走这条路。但机器人 2017 年还很烧钱:隔壁 NLP 组烧 20 万美金做数据集大家惊呼,她这边 Shadow Hand 50-100 万美金一个,Barrett Hand 十几万美金,坏了博士生自己修舍不得返厂。Franka 号称"最便宜"也要几万美金(现在 Franka 被中国公司收了,可能以后中国版几千刀)。
- 所以当时机器人不流行、人数少、贵——选组也没太多可选。
第四部分 机器人学术谱系:CMU传统派 vs 机器学习派(约 32% - 48%)
1 CMU 派系的祖师爷们
- 卡耐基梅隆 79/80 年代建机器人研究所(至今 40 多年),"看(感知)+动(决策)"的结合从他们开始流行。
- Matt Mason(操纵系,算 Kay 的祖师爷):最有名的话——"灵巧不在于手指和关节构造,而在于大脑如何操控一个简单的结构也能做复杂任务"。Kay 博士做筷子机器人就是这思路的延伸。
- Matt 的徒弟/徒孙链:Sidd Srinivasa(Kay 导师,做路径规划、机器人酒保递杯子)→ Sangbae(MIT Cheetah 机械狗,现代机械狗奠基人之一);同期 Marc Raibert(波士顿动力创始人,做狗+后空翻,传统派极致——先把电机做到别人想都不敢想)。
2 机器学习派系的传承
- 更早的明斯基(MIT,现代机器学习创始人之一);Kay 这代入门教材是 Andrew Ng 吴恩达网课。
- 吴恩达的博士生 Peter Abbeel(伯克利,最早把 ML 放到机器人上的先驱之一,现在也在亚马逊管研究部门)→ Peter 的徒弟 Sergey Levine(原学 Graphics/图像,博士后转机器人,和 Chelsea Finn 一起把强化学习在机器人里发扬光大,发量巨大)。
- Sergey 和 Chelsea 都是 PI 联合创始人:Sergey 科幻重度迷,PI 论文里科幻引用全是他的,会写标题、被伯克利内部叫"Sergey GPT"——改论文又快又 polish,ChatGPT 出来前大家就用上了;Chelsea 极度 discipline(4点起床游泳),有"动物性直觉",对动作/任务认知很深,π₀ 很多任务是她在后面推"觉得能做"。
- 飞飞(李飞飞)派系:朱玉可、Jim Fan,现在英伟达 GEAR Lab。
- 华人女学者 Shuran Song(Diffusion Policy 出自她组);Chelsea 组出 ACT 和 Aloha——都是现代 ML 机器人形态的里程碑 paper。
- CMU 现代 ML 派:Deepak Pathak(Curiosity-driven RL,和 Abhinav Gupta 共创 Skild AI);Abhinav Gupta(资历老,视觉出身,天马行空,"打一枪你还没明白啥意思后面才发现有点意思",早年想做"不要数据限制、让机器人户外收数据",和现在 UMI 异曲同工,之前还想过"亚马逊买 5 刀长杆末端夹爪去收数据")。
3 两派博弈与 Kay 的博士选择
- 传统派:路径规划+控制,先 plan 一二三步再执行,保证每步不出错——波士顿动力是极致代表,但代价是大批工程师调参,一个新任务又要一批投入。
- ML 派(2017 年前后还小众):从数据里学,不要专家定规矩——"让专家从机器人里消失,机器自己学"是使命。
- Kay 导师 Sidd 的态度挺有意思:既会泼冷水"你这任务以前传统方法早有更好的解法,你去学一下",也给台阶让她把 ML 想法带进来碰撞。Kay 自己是"黑猫白猫抓到老鼠就是好猫",导师觉得"不优雅、没保障";她说优雅保证不了,保障可以再研究——本质是对"解决问题的方法"的喜好不同,导师要"知其所以然",她要"当下最可能做成的方法"。
- 博士具体项目:筷子机器人(2018-19)——跟导师打赌"筷子两个支点能做 90% 桌面问题,算法能在筷子上成,别的更容易"。用实验室仓库捡的别人淘汰的机械组件自己组装、写系统、写驱动。论证逻辑:"硬件不准(关节 backlash、调参怪),但我遥操作这个人都能用这不准的硬件夹小球,那只要算法跟我一样聪明,就能成"——第一篇文章做模仿学习,筷子夹小球成功(方法现在看模块过时,但论证了数据驱动能在烂硬件上跑)。
- 不满意"永远照抄人给的数据",转强化学习——让机器人自己练,超越人给的数据上限,类似奥运冠军肌肉记忆。最后做到空中晃动的小球(人夹都难)机械手能夹住玻璃球,精度已经超过一般 ML 任务要求。
4 两派"鄙视链"与当下共识
- 当年 ML 派的质疑很实在:"你什么都想做但什么都做不好,要这算法干嘛?"——这质疑至今没完全消失,工厂传统机械臂放车玻璃,成功率稳定性速度都有保障,ML 方法鲁棒性还没对齐。
- Jitendra Malik(伯克利 CV 大佬)的名言:"Robotics is far too important to be left to robotists"——两种解读,友善版是"得各行人一起上才能搞出来",对当今机器人大模型有启示:传统派关注动作/机械/表现,ML 派(CV / LLM)带来数据引入/大模型训练经验,加硬件加产业链才能成。
- 地理分布:西岸斯坦福伯克利 ML 浓,东岸 CMU/MIT 传统派根更深,但最近 5 年两边都在往硅谷跑——波士顿的教授/创业者也在硅谷公司挂职位。
第五部分 硅谷机器人创业版图:PI、Skild、Figure、1X、Dyna…(约 48% - 60%)
1 2023 井喷的背景
- 2021-22 ChatGPT 效果好到动摇所有人,谷歌当时把机器人部门变相削减抽人去做大模型,反而催生一波离职创业。PI 创始人基本都出自谷歌那波;Skild 两个创始人之前在 Meta 当研究员。
- 2023 初被称为"机器人黄埔军校"的是谷歌那个研究所。
2 PI vs Skild:学术人创业的两家"大脑公司"
- 都是教授高产创业,口号类似——做具身智能通用大模型大脑。
- 差异:PI 更多押双臂操纵(pick and place 这个"抓放"大类解决了,家务就解决一大半,暴论);Skild 相对更多腿/人形/狗的探索,构型更"完整"一些(但人形+操控没解决,所以他们视频里操纵任务还简单,更多强调移动性)。
- 两家都"大脑公司",软硬一体是后来被逼的——"认认真真想把事干成的 ML 学者,真得造自己硬件,市面没有一家拿来就能完美契合场景"。
3 其他几家
- Figure(2022 创):创始人无技术背景但有成功创业经历,2022 这时间点跳进不熟悉领域"因为相信",挺有意思。押人形,电机路线。
- 1X:创始人深耕绳驱人形,比较独特。
- Dyna:创始人创业+技术背景都有,更强调商业部署落地——2024-25 发的叠衣服之类,试探"ML 能不能进家落地创造商业价值,反过来给部署优势"。
- Generalist AI / Sunday Robotics:都从 UMI(人抓着爪子在生活里采数据、能迁到机器人)那篇 paper 的创始人出来创的。Generalist 偏工业场景,Sunday 偏家用、机器人造型可爱。
4 大厂的 bet
- 特斯拉:最激进押人形,手都要做到和人差不多,终极形态信仰强——"世界为人设计,人形在世界里最自然通用"。
- 谷歌:有 Gemini 多模态能力(图像生成/修改大家日常用),机器人可能是多模态大模型里"空间感知/规划/控制"的那个模态。
- 英伟达:江湖笑话"做所有事为了卖卡"——World Model 这类烧卡项目,但历史反复证明数据+卡堆上去效果就出,所以大家也期待。在英伟达做研究卡更充裕(笑)。
5 硬件 vs 软件的保密度
- PI 相对独特,有学术界习惯会发 paper 分享,办公室安保也没那么严,能带同行朋友进来聊。
- 其他公司硬件方案更不公开,只能从视频推测——人形 vs 非人形是第一层 bet;人形里"有没有腿"是第二层;"世界为人设计所以人形通用性最好"是一种信仰,另一派不信。
第六部分 PI 的通用大脑观:实用派 + 狂野派(约 60% - 70%)
1 为什么"既要通用大脑又不选人形"
- 通用大脑的"通用"有两种诠释:①做一个具体构型(比如人形)的通用功能;②做一个很多构型都能受益的大脑。
- PI 走后者——模型在不同形态数据上训,能在不同形态机器人上用,没放弃人形,只是现阶段没必要绑死。类比:人脑能开车、开挖掘机、操纵机械手踢腿——这才是通用大脑的本质定义,不是"做了一个人形大脑=通用大脑"。
2 实用派理由
- 现阶段最重要的之一是"能力/表现/操控性",不需要人形也能做,甚至做好了就能部署。
- 任务复杂度和构型可以拆开:组装麦克风这种多步骤难任务,双臂机器人能做,人形也能做——先用简单构型把难任务做成,将来迁到人形概率很大(人形关节多灵活度高,但操控难;简单构型做成复杂任务,再控人形反而简单)。
3 狂野派理由
- 车有轮子,自然界没有,但全世界公路都为车改了——"有用形态"出来后,环境会为它适配,这信仰成立。
- 狂野派可以想:两只手?四只?三只?下面轮子?好多轮子?生物演化链出不来的形态说不定最好。
- Kay 个人信"成熟机器人形态 = 动态组装性"——手坏了换,随时换部件成更适合的工具。PI 最近发的也有 partner 机器人公司(不管人形还是别的形态)用 PI 大模型做事。
4 Frontier Lab 的"前沿"怎么定义
- 最难的是 evaluation(评估):NLP 当年"生成一段话怎么打分"已经难,机器人更难——还得在真机上跑才知道做了啥,且受机械/物理限制,细微扰动(杯子放桌任何位置、光照、背景、桌高、甚至杯子角度)都影响表现。
- 所以机器人没有 NLP 那种"英雄榜跑马赛马"——每家内部评估侧重不同,宏观命题大家都一样(让机械体在现实做任务表现好),抓手分散百花齐放,但还没收敛到一条大道。
- 评估问题直接导致"前沿难定义"——特别前沿的东西你都没法说"谁在榜单跑到多少",所以现在方向分散,都在朝不同方向走。
第七部分 一台机器人怎么诞生:从电机到大脑的产线视角(约 70% - 82%)
1 硬件侧:电机→关节→臂
- 电机是"会动的关节"。把多个关节连一起成机械臂——流行的是 6 或 7 个关节一条臂,对照人手臂:大肘关节+腕关节+肩关节是通用配置。
- 关节放想要的位置,3D 打印件/金属件磨形状固定组装,每个关节动时其余跟着动,一条原始机械臂成形。
2 软件侧分层
- 底层控制:通电/气压,发信号→关节执行。常见操控是位置控制——"希望这关节现在 90 度变 180 度",关节层把上层信号转成真能执行的。
- 上层(大脑):看到当前任务→决定"要在桌上拿东西得先把手抬起(肘关节往上抬)"→发"肘关节抬到 XX 度"的指令给关节→关节执行→新场景回传给大脑→下一步决策。
(注:原文此处稿件截断,后面应还有 π₀ / π₀.₅ / π*₀.₆ 三篇的关键词"能力/泛化/表现"、PI 同事是否关注中国机器人发展等内容未包含在提供文本里,若用户有后续补全可再续分段。)
第八部分 (文本截断前收尾话题)中国机器人发展与三篇π系列的关键词(约 82% - 100%)
由于提供的逐字稿在"一台机器人怎么诞生"的讲解中途截断,但根据开篇主持人的预告,末段应收尾到:
- π₀ 关键词「能力」、π₀.₅ 关键词「泛化」、π*₀.₆ 关键词「表现」这三篇 PI 工作的递进。
- "你们公司其他人会很关注中国机器人的发展吗"——Kay 答"都很关注,这是不可忽视的一部分"。
- 以及 Kay 那句开场梗"确实我们不做人形,因为他们要说做人形我就不来了""我其实一直想做的是机器人可以造自己……能组装造自己,就是一种繁殖的体现,可能是机器人发展的里程碑"。
若用户手上有完整后半段(π 系列详解、中国机器人观察、修水管梗的延展等),可以补一段把 82%-100% 填满,整体分段会更完整。
【张小珺访谈】Kay Ke 谈 Physical Intelligence - 下:Physical Intelligence 的机器人基础模型之路——从 π₀ 到 π*₀.₆、强化学习本质与通用机器人大脑的远近未来
第一部分 PI 三条主线:π₀(能力)→ π₀.₅(泛化)→ π*₀.₆(表现)(0% – 约 24%)
1 π₀ 的关键词是"能力":2024 年初 PI 创立时没人知道用大模型思路做机器人能做成什么样,π₀ 用三个任务立住基石——叠衣服(2024 年 11 月发表,之前未见过的级别)、叠纸箱、桌面 busing(物体多样性前所未有)。目标是回答"大模型能在这些想都不敢想的任务上表现成什么样"。
2 π₀.₅ 的关键词是"泛化":解决机器学习根本问题——in domain / out of domain。在约 100 个 Airbnb 真实人家(非控制场景、杂乱无章)收数据做日常任务,研究"需要多少个房子才能在第 10001 个房子表现好"。结论是曲线会放缓,不需要在所有人家收数据,泛化存在一个 in-distribution 的尺寸阈值,达到或许就够了。标题"开放世界泛化模型"是 Chelsea 起的,每篇科幻小说引用是 Sergey 写的。
3 π*₀.₆ 的关键词是"表现":解决"什么都能做但都半吊子"的问题。Kay 参与度高,是强化学习团队第一篇工作。核心方法简洁——智能体在真实世界收集"体验数据"(自己 rollout 而非人遥操),放回训练池,能超越固定数据的天花板。对数据收集范式有启示:机器人自己的数据可以很强,起点是人设的,但要超越起点得让机器人在环境里动作。Kay 个人 bullish 认为将来机器人便宜了,部署过程中收的数据都可为你所用。
第二部分 数据哲学:真机 vs 仿真、体验数据、修正数据、叠衣服为何被选(约 24% – 约 38%)
1 真机数据的不可替代性:Kay 是"真机数据信仰派"。真机贵在几方面——平台、进人家、维护、雇人遥操、管理成本;但如果把遥操员换成已训好的大模型自己 rollout,数据成本能降很多。硬件"永远可以更便宜",现在比 5 年前已便宜很多。
2 错误数据 / 修正数据的价值:模仿学习的老问题——累积误差会把机器人带到没见过的糟糕状态,且不会自我修正。修正数据(机器人进入坏状态后如何修复继续完成任务)对大模型表现很重要,且也可以通过机器人自己跑来收——这是强化学习的本质。
3 真机 vs 仿真:黑猫白猫。"半前沿"例子——叠衣服的仿真至今没人能做到训好后加一点真机就 work,软性、摩擦、粘性(viscosity)这些物理性质仿真器搞不定。但也有人积极推动这前沿,两三年说不定有人做通。
4 通用大脑需要什么数据:不是单场景 RL 能解决,需要"与现实世界交互的所有非结构化数据"。目标若是"所有场景所有任务",目前真机数据仍不可取代。
5 为何 π₀ 选叠衣服 / 叠箱 / 清理桌面:清理桌面承担泛化性(几百个道具,收数据的人自由发挥);叠衣服的泛化性是"衣服状态千千万万 + 不同种类衣服 + 后续 π*₀.₆ 里更多种类叠法",每一步衣服多一个折、拐一下都是未覆盖状态,模型要保证仍能完成,本身就需泛化。
第三部分 PI 的中间研究、评估指标、硬件策略与合作模式(约 38% – 约 50%)
1 π₀→π₀.₅ 之间的两篇有意思工作:
- FAST:研究动作的表达空间——扩散模型(diffusion policy)之外,能否学一种更优的动作表达,让大模型在该空间预测有性能提升和方法性保证,属基础研究。
- HiRobot:正式提出分层——高层 policy 把人说的任务转成更短的可执行子任务,低层执行,二者在同一模型内,输出分层。解决 10 分钟长任务里端到端容易"迷失"。
2 π₀.₅→π*₀.₆ 之间的 Olympics:公司内部活动,研究员 + 数据收集员组队,用人遥操推 boundary(比如钥匙开锁、开门——Kay 自己试开门搞了 20 多分钟才想明白用机器人形态怎么开)。人能完成后,用这些数据训大模型,发现策略可优化、机器人能自主完成。
3 评估指标——throughput:π₀.₆ 提的"单位时间内的成功量",兼顾耗时与完成度,还有更细的任务成功/失败定义打磨。在叠衣服任务上,最终机器人表现超越了最好的人类数据收集员起点*。
4 Partner 发表与商业合作:PI 自己没太多商业落地想法,但和已在落地的机器人公司合作(如叠衣服公司、打包公司),跑 PI 训的大模型,变相推研究前沿。目标是"买乐高式硬件拼装完插我们大模型就能做事",缩短机器人从零到第一个 sign 的时间。
5 硬件策略:
- 不自研为主(部分不便透露,π*₀.₆ 用的硬件是自家弄的,优化了稳定性、可换夹爪——比如为做咖啡换了另一种夹爪,成本低)。
- 不为软件优化 70-80%,是为"最后任务和表现"优化。
- 不做人形——Kay 的原话:"他们做人形我就不来了"。理由是:① 人形会让研究重心偏到"如何让人形协同跑好",而不是"做更好的任务";② 不用人形也能先做叠衣、叠箱、做咖啡;③ 无穷任务等着做,没必要先把时间花在人形协同。Kay 个人更喜欢宠物机器人。
第四部分 组织文化、加入 PI 的故事与"辞掉剑桥教职"(约 50% – 约 62%)
1 对标 OpenAI 的说法:PI 一部分 goal 是成为 robotics 界的 OpenAI、通用大模型创造者。但 Kay 每天看的是"这个表现不完美、那个不行",觉得还没到 GPT-1 级别,但在靠近。起点和 NLP 不一样——NLP 2017 年她短暂做过,当时觉得自然语言生成不行、RL+LM 更难搞,结果 19-20 年别人做成了;机器人现在在数据量远不及 LLM 业界的情况下已经做出不少东西,是优势。
2 独立机器人大脑? 有可能归到一个全能模型(语言/图像/视频/机器人操控全包),也可能专门预训-中训-后训的自闭环。Scaling law 在 π₀.₅ 里能看到"10 个房子→第 11 个""100 个→再提升不大"的曲线,但整体数据量还是太少,要更激进。
3 算力与卷度:喜欢干活的人永远算力不够。无加班工资、无打卡,典型夜猫子文化——Kay 中午到公司、干到凌晨一两点,有人住南湾每天通勤 3 小时,生小孩的研究员可在家待很久继续工作。早期 20 人时每天 10 点例会轮流说,Kay 嫌早跟 CEO 闹(CEO 说最早 8 点后来推到 9 再推到 10),现在 70 人左右没日例会了,改研究课题自己组织的会。办公楼还是初创那栋,会议室 CO₂ 检测器超 3-4 人就跳红,得开门接着干——暗示该换 office 但旧金山难找合适的(硬件+用电+机器人)。
4 文化自发形成:创业氛围、有股份 stake、读书会文化(π*₀.₆ 前后上过两次读书会:先讲问题前人做到哪、再讲快成熟时交流)、Claude Code 出来后在读书会"抄作业",Kay 说工作效率涨了 3-4 倍,但研究还是"打一枪看落点再调"。
5 CEO Karol Hausman:偏基础架构 + 未来商业化,研究侧由 Sergey 和 Chelsea 负责,Karol 像 Sam Altman 角色。
6 为啥加入 PI / 辞剑桥教职:
- 博士七年(华大),本来坚定想当教授,ChatGPT 出来后觉得"稳了可以让 ChatGPT 帮我写 funding proposal"。
- 教职面试一轮里,Sergey 的学生 Abhishek 去华大成了她"小老板",合作很顺(和原老板的"对抗网络式 critique"不同,Abhishek 是跳脱共创型),Abhishek 跟 Sergey 提了有这么个人。
- PI 创立一周内 Kay 去聊,本来以为是 casual chat,结果变成"面我们变成我们面她"——她不停问"你们这事怎么想的",感受是"这帮人求真",和她对学术界有些发表"为自圆其说"的无奈契合。
- 拿到剑桥教职(人文属性和她贴合,想去那又做研究又写小说),但最后顿悟:学术界学生 3-5 年一轮,想做开创性东西可能不够;工业界有算力/数据/硬件/齐心合作。博士七年里前几个月搭机器人到第一次能动 3 个月、遥操定下来 6 个月,全栈单打独斗慢——PI 能给她没体验过的"大公司齐心协力"。
- Thesis Defense 当天老板还跟全场宣布"他要去当教授啦",结果最后辞了去 PI。"非常偶然的决定"。
第五部分 强化学习本质、奖励函数难题与 VLA 架构演化(约 62% – 约 74%)
1 RL 的本质:"一个人如何通过体验变得更好"——巴甫洛夫的狗。和人的自我提升相通:追求极致(不停练)+ 探索(肌肉微调是探索,换研究方向也是探索)。RL 是通向通用的一条路,LLM 里现在也大量用 RLHF 之类。
2 RL 几个模块:
- 探索模块:选"更可能成功但以前没做的事",是影响学习效率的本源问题。现在大模型还不具备主动探索能力。
- 归因:一次得奖赏,要知道是哪一步决定的。"其他都是垃圾,这个地方是精华,以后多做"——π*₀.₆ 有探索。像人的总结反思。
- 问题定义 / 奖励函数:教科书用奖励函数抓"想要的事",但写奖励函数极难。超级马里奥 RL 发现的 bug——小人卡 bug 跳通关刷满奖励,但根本不是人想要的。Kay 的观点:不是"写奖励函数"的问题,是"向智能体传达让它做什么"的问题。NLP 里"可验证任务"(代码能跑 = 好)不依赖显式奖励函数;传递好坏需要 common sense,奖励函数可以因地制宜、不一定是函数形式,更多是给模型信息和表达让它理解。
3 Chelsea 的 sharp intuition:比如叠衣服策略——人叠有不同叠法(两边折 / 四四方方),哪一些放机器人身上可行、哪一些数据"好",她能很快直觉判断。来源于"看重的东西"不同。
4 VLA 是不是终极架构:
- Kay 原本怀疑"说话"是不是最好表达(自己内向),但成了 Claude Code 重度用户后改观——说话给 context,Agent 自己搜/制定计划,语言是非常强的逻辑推理和推理入口,对机器人重要。
- VLA 的 L(Language)还有很大作用,但当前架构原始——language 没探索"语言和动作细微关系"(比如"叠衣服"没详细描述"这步两手怎么动")。未来可能:输出端不光动作+video+auxiliary losses;输入端给更多 context,像 LLM 一样 take in much context。
第六部分 数据观再议、领域对标、2024-2025 进展与家庭机器人难点(约 74% – 约 85%)
1 Zero-shot 泛化 vs 具体场景优化:两类需求,但相辅相成。Kay 坚信"在具体场景做到完满,能帮助更多场景效果更好;更高质量模型不只在这俩任务好,相关相似问题都好"——左脚踩右脚。PI 作为研究型公司均衡在做。
2 Zero-shot 怎么提:架构研究、预训练、世界模型(尚无定论,大家在探索)、数据。
3 机器人该对标自动驾驶还是大模型:
- 更像大模型:可以犯错,不需像自动驾驶那样"人命级"的完满保证;动作空间高度抽象多样。
- 比自动驾驶难的地方:操控的底层控制问题(多关节机械臂+载重+摩擦+贴合)+ 决策空间复杂度(叠衣手腕怎么转)。
- 自动驾驶比我们简单:控制系统几乎没问题,决策空间相对小(A→B),现在主要在提完满+降本。
- 互相能学:自动驾驶模拟器成熟、部署量大,RL 部署经验有启示。
4 24 年初→24 年底→25 年进展:
- 24 初:叠一摞衣服+垒起来、叠箱、桌面清理,都是"之前不确定能不能做",到 24 底变成"看得到成功"。
- 25 年:π₀.₅(Airbnb 泛化曲线)、π*₀.₆(部署表现提升,数据收集员收 10 小时叠衣数据后再收也无提升时,上 RL 再进一步)——把 frontier 摸得更清。
- 别家:Gemini 发布展现空间理解;强化学习在制造/组装的具体项目。
5 2026 预期:更多惊叹 demo;人形操控性任务可开始探索应用;模型架构大家会有大变化。
6 家庭机器人 = 隐形争夺方向:
- 环境复杂(没两家完全一样,泛化性门槛高,叠被子进新家也不能 100%)
- 动作复杂(家务边边拐拐列不完)
- 硬件稳定性 + 人机交互安全(Kay 怕 Optimus 在家摔了赔地板/砸人)
- 形态:小一点给人安全感——宇树 G1 小孩身高,但太小又做不了某些人做的事、也用不了人的数据。
第七部分 中美机器人对比、PI 不急于商业化的逻辑(约 85% – 约 93%)
1 中国硬件产业链的统治力:很难想象一台机器人组装起来没有一个中国零件。"美国人要追该怎么追"不知道。宇树春晚表演那一波,硅谷 PI 群里也转发讨论"这怎么做的",读书会还想请专家来讲(PI 不做人形、不做 locomotion,正好学)。
2 中美叙事差异:
- 中国公司:实用主义、商业回本。
- PI 这种纯研究型、暂不商业化,在美国也独特。历史原因:Sergey 的导师 Peter Abbeel 创过 Covariant(2015/16),最早想做机器人通用 ML 方案,中途深耕物流仓储,过早商业化反而分散了通用大模型追本源的力量——PI 受这段影响,强调"不要为挣钱/商业闭环做对研究没帮助的事,先做研究把表现做到最好,商业化后想"。
3 美国硬件投入够吗:从业人员都同意"还有很大改进空间"。特斯拉神秘(车在上海工厂产量高是个梗),美国教育体系里制造业相关专业不火,人才缺,修地铁站都修 N 年,能不能补上存疑,可能靠移民补。
4 "follow PI"问题:PI 论文大多开源(Google/Tesla 不一定),中国团队 follow 论文可行;但公司积累久了,就算告诉你怎么做,也不一定 match 得上资源——和 Google 有 Gemini 门槛、PI 有自己的数据/算力/partner 积累类似。
5 硬件劣势 vs 软件劣势哪个好抹平:"都好抹平,大家永远在卷"。但当前软件是更大问题(搭起来能动≠做有意义的事),硬件还能搭能动、还有创新空间(说不定一个简单硬件就特适合当前算法)。
第八部分 机器人意识/种族/价值观,与个人人生碎片(约 93% – 100%)
1 机器人会有意识吗:定义宽泛点("聊起来像人"就算)那已经有了;定义成"人类这种意识"则悲观,意识怎么从物理化学里诞生都没搞明白。科幻素材。
2 机器人种族:Kay 一直想做"机器人造自己"——种族延续性、自我繁殖。机器人可换零件可改形态,"特修斯之船"问题:PI 有台机器人编号没变但里外全换过,要不要起新名字。机器人伦理审查委员会将来可能要查"是不是从头到脚每个零件都换新了"。
3 "机器人是人族最后一件事吗":不觉得是最后造物。浪漫想法——人造出的东西或许能看到宇宙尽头,人活 100 年看不到。
4 训练机器人对"人与机器人"的新感悟:黑盒但 bounded by objective,数学层面可解释。日常发挥"偷懒天性"——能让机器人代做的想方设法让机器人做,"提升生产力和偷懒是一个东西",可能是人类文明本质追求之一。
5 生产力爆炸后的想象:一个人+通用生产力+每个任务专家级 = 现在要找多工种的事机器人配合干掉。修古堡、做小手工艺、写小说做游戏……
6 Kay 自己:
- 小说口味两类:① 完全不同科幻环境下的人与人关系(举例:宇宙里修真科幻,女主反抗性别分工固化社会);② 魔幻题材放进现代打工生活(比如打工人兼职武林盟主)。网游组队经历和现代公司项目管理异曲同工。
- 虚无主义倾向:"人活着为了什么"是无解命题,很难认同任何"某件事很有意义"的陈述。但自己幸福在"做最想做的事",不认同每个点都要有立刻可阐述的目标,乔布斯"点连成线"那套更贴——机器人可能是她第一次想"做到最后"的事,之前没做到最后的东西才把她送到这。
- 贪心 vs 动态规划:喜欢这个对照——每一步局部最优 ≠ 全局最优,做九分留一分可以。和硅谷"同一条赛道早早上车一直卷"的人路径本质不同。
- 反抗硅谷同质化高度竞争:"一时的成功失败、有没有做到极致,不能代表长期结果"。
7 快问快答式收尾:
- 人生之书:《区分》(布迪厄)——阶层与品味是社会塑造的,反思"多少喜欢是自己的、多少是社会的"。硅谷现在崇拜生产力,放弃了对衣服穿着的讲究,讲究效率精简创造,"何尝不是社会价值观的一个部分"。
- 全球喜欢的食物:西红柿炒蛋。
- 全球喜欢的地点:爱丁堡——古建筑、慢、历史压过来有种安稳感。
- 少有人知但重要的知识点:处女膜医学名"阴道瓣",第一次不一定流血,对身体构造的认知很多女性是被误导的。
- 影响机器人进程的论文:太多——Diffusion Policy、Transformer、ACT、更早的 imitation learning / RL 本源研究,ChatGPT 也极大影响了机器人(VLM 路线)。
- 当下关键 bet:机器人进家中可能比一开始想象的近,但不一定以产品形式,先以探索形式。
- "语言即世界"工作室名第一反应:"语言即全世界"→ 缸中之脑 → 我们活在巨大模拟器里?如果模拟器就是世界,模不模拟没差别——唯心。
Top comments (0)