机器人AI技术VLA的起源与发展历史
VLA（Vision-Language-Action，视觉-语言-动作）并不是某个某天突然冒出来的单一模型，而是把"看懂场景 + 听懂指令 + 输出动作"塞进同一个神经网络的一类范式。它的历史可以清晰地切成五段：前史（视觉运动策略 + 多模态预训练）、RT-1 奠基、RT-2 正式定名、开源爆发（OpenX / OpenVLA / Octo / π0）、以及 2025 年后的人形机器人基础模型阶段。
一、前史：VLA 之前发生了什么（1980s–2022）
VLA 的思想根源其实很早——1980 年代就有"视觉驱动机器人控制"的尝试，但现代 VLA 的真正前身是三条线索的汇流：
- 视觉运动策略（visuomotor policy）：早期靠行为克隆 + CNN 策略，一个任务训一个策略，换背景换物体就废，泛化极差。
- 视觉-语言对齐：2021 年 CLIP、ALIGN 把图像和文本压到同一嵌入空间，VLM 时代开启，但 VLM 只能"动嘴"输出文本，不能直接控制机器人。
- 语言条件机器人策略：2022 年 Google 的 SayCan、CMU 的 Instruct2Act 尝试让 LLM 做高层规划、下层接一个独立执行器，本质是"语言模型 + 控制器"两段式，还不是端到端 VLA。
还有一个常被归为"VLA 思想源头"的工作是 DeepMind 2022 年的 Gato——用同一个 12 亿参数 Transformer 序列化处理文本、图像、游戏和真实机器人控制。但它没有用预训练 VLM 做底座，所以学界一般把它称作"通用智能体先驱"，而不是最早的 VLA。
二、RT-1：真实机器人上的 Transformer 验证（2022–2023）
RT-1（Robotics Transformer-1） 2022 年 12 月首次报告，RSS 2023 正式发表，是 VLA 谱系里第一个被大规模验证的真实机器人策略：
- 35M 参数，13 台机器人 17 个月采集的 13 万条演示、700+ 任务
- EfficientNet 视觉编码 + FiLM 语言条件 + TokenLearner + Transformer 解码器
- 输出离散化动作 token，3 Hz 实时运行
⚠️ 注意：RT-1 不是严格意义上的 VLA——它没有用大规模预训练 VLM 做底座，语言指令也很浅，泛化范围有限。它的意义是跑通了"Transformer + 语言条件 + 离散动作"这条工程配方。
同年 3 月，PaLM-E 把 540B 的 PaLM 和 ViT 接起来，让 LLM 直接吃连续传感器输入，做 embodied reasoning，再用 RT-1 执行——这是"VLM 大脑 + 机器人小脑"双系统的最早范本之一。
三、RT-2：VLA 正式定名（2023 年 7 月）
这是 VLA 的真正的出生证。2023 年 7 月 28 日 Google DeepMind 发 RT-2 论文，第一次正式提出 "Vision-Language-Action Model" 这个术语。
它的关键创新就一句话：把机器人动作变成语言模型词表里的 token。
- 用 PaLM-E / PaLI-X 做底座（12B 和 55B 两种规模）
- 7 维动作均匀离散化成 0–255 的整数，占用 256 个 token
- 和互联网图文数据联合微调，同一个 next-token 接口同时学"看图说话"和"输出关节角"
效果上，RT-2 能对训练数据里没出现过的物体和需要语义推理的指令（比如"捡起 extinct animal"这种梗）泛化，物理技能上限仍受机器人数据束缚。最大模型跑 1–3 Hz，5B 版约 5 Hz——大模型直接进控制回路的延迟代价从这一天起就成了 VLA 的核心矛盾。
💡 RT-2 的历史地位：它证明了一件此前没人证明的事——互联网规模的 VLM 预训练知识可以迁移到物理动作空间。这是 VLA 区别于传统机器人学习范式的根本。
四、开源爆发与路线分化（2024）
2024 年是 VLA 从 Google 内部走向全网实验室的一年，三件事定了基调。
① Open X-Embodiment 数据集
21 家机构联合，100 万+ 轨迹、22 种机器人本体、527 个技能，统一格式开放。它让"跨本体正迁移"第一次有了可训练语料，也暴露了真相：正迁移只在部分设置下成立，不是任意硬件都能零样本互通。
② OpenVLA（2024 年 6 月，arXiv 2406.09246，CoRL 2024）
Stanford + Berkeley + TRI 联合开源，被称为 "VLA 的基线时刻"：
- 7B 参数，Llama 2 底座 + DINOv2 + SigLIP 双视觉编码器
- 在 OpenX 的 97 万条轨迹上训练，动作同样离散成 token
- 29 个真实任务上以 1/7 参数量超越 55B 的 RT-2-X，绝对成功率高 16.5%
- 权重、代码、训练脚本全开源，支持 LoRA 和 4-bit 量化
OpenVLA 的意义不是"SOTA"，而是把 VLA 从闭源 demo 变成人人能 fine-tune 的起点。
③ 动作生成路线分裂成三条
| 路线 | 代表 | 机制 | 取舍 |
|---|---|---|---|
| 自回归离散 token | RT-2、OpenVLA | 动作当文本 token 预测 | 复用 LLM 生态，但频率低、离散有损 |
| 扩散策略 | Octo（2024） | DiT + 扩散头输出连续动作 | 多峰、平滑，但推理步数多 |
| 流匹配 | π0（Physical Intelligence, 2024） | 流匹配 / flow-matching | 连续高频、灵巧操作友好，工程门槛高 |
Octo 是第一个用扩散头做 VLA 的开源工作，9300 万参数，支持语言和目标任务图条件；π0 则用流匹配把双臂高频操作推到新水平，后来衍生出 π0.5，把场景扩展到开放家庭环境。
五、人形机器人基础模型阶段（2025–2026）
2025 年起，VLA 从"桌面机械臂操作"扩到"整个人形机器人上身/全身控制"，标志性事件是双系统架构成为主流：
- Figure Helix（2025.2）：首个对人形上半身（含手指）做高率连续控制的 VLA，S2 用 VLM 做慢速语义推理，S1 用 visuomotor policy 把潜变量转成 200 Hz 全身动作，还能双机协作。
- NVIDIA GR00T N1（2025.3）：对外宣称首个开放可定制的通用人形推理与技能基础模型，S2 是 Eagle-2 VLM，S1 是扩散 Transformer 用 flow-matching 出动作，2.2B 参数。
- Google Gemini Robotics / ER 1.5（2025.6–9）：把 Gemini 系列接动作解码器，ER 版本先做多步 CoT 规划再出动作，支持端侧部署、50 条演示适配新任务。
- Boston Dynamics + TRI 的 Atlas 模型（2025.8）：单一 4.5 亿参数扩散 Transformer + flow-matching，把locomotion 和 manipulation 合并进一个 30 Hz 策略，不再分模块。
- Physical Intelligence π0.5：高层规划 + 低层流匹配控制的分层 VLA，主打家庭/厨房长程任务。
到 2026 年，前沿方向进一步转向世界模型 + VLA 融合（如 WALL-A、Video2Act、RynnVLA-002 等）、类脑分层架构（NeuroVLA 的大脑-小脑-脊髓三层）、以及动作 token 压缩（FAST Tokenization 用 DCT+BPE 把 50 步×7 自由度从 350 token 压到 30 token）。
六、一条清晰的时间轴
1980s–2021 视觉运动策略 + CLIP/VLM 前史
2022.12 RT-1 真实机器人 Transformer 策略（非 VLA 定型）
2023.3 PaLM-E VLM 直接吃连续感知输入
2023.7 RT-2 ★ VLA 术语诞生，动作=token，VLM 知识迁移到控制
2023 Open X-Embodiment 启动，跨本体数据统一
2024.6 OpenVLA 开源 7B 基线，VLA 走向平民化
2024 Octo / π0 扩散头 / 流匹配分流
2025.2–9 Helix / GR00T N1 / Gemini Robotics / Atlas 单模型 双系统 + 人形上身控制
2026~ 世界模型融合 + 类脑分层 + 动作 token 压缩
七、几个容易被误传的点
- RT-1 不是 VLA 起点，RT-2 才是术语和范式双重定名的那篇。
- Gato 是 precursor 不是 VLA，因为它没接预训练 VLM。
- VLA 的边界本身有争议：Octo 这种"从零训的通用机器人策略 + 扩散头"算不算 VLA，学界没统一说法。
- 2025 年后的"VLA"很多时候其实是双系统（VLM 规划 + 独立动作模型），严格说和 RT-2 那种"单模型端到端"已经不是同一件事。
Top comments (0)