百科arXiv 2307.15818今天
VLA 模型是什么？
一句话回答：VLA（Vision-Language-Action，视觉-语言-动作）模型输入相机画面和一句自然语言指令（如“把红色方块放进盒子”），直接输出机器人下一步的关节或末端动作。 它通常在一个预训练的视觉语言模型（VLM）上继续用机器人轨迹数据训练，让模型把“看懂 + 听懂”的能力延伸到“动手”。
这个叫法来自 Google DeepMind 2023 年的 RT-2 论文，它把机器人动作离散成文本 token，与网络图文数据一起训练。
VLA 的基本结构
text
相机图像 ─┐
├─► 视觉语言主干（预训练 VLM）─┐
语言指令 ─┘ ├─► 动作头（离散 token / 扩散 / 流匹配）─► 动作序列
本体状态（关节角等）─────────────────────┘各家差异主要在动作怎么表示：
| 动作表示 | 做法 | 代表 |
|---|---|---|
| 离散 token | 把每个动作维度分桶，当作文本 token 自回归生成 | RT-2、OpenVLA |
| 流匹配 / 扩散 | 用连续生成模型一次输出一段动作块（action chunk），控制频率更高、动作更平滑 | π0、π0.5、GR00T N1.5 |
| 小模型 + 动作专家 | 压缩 VLM 主干，适合消费级显卡训练与部署 | SmolVLA |
代表模型速览
| 模型 | 发布方 | 公开时间 | 要点（来自论文） |
|---|---|---|---|
| RT-2 | Google DeepMind | 2023-07 | 提出 VLA 概念，动作离散成文本 token |
| OpenVLA | 斯坦福等 | 2024-06 | 7B 开源权重，在 Open X-Embodiment 约 97 万条轨迹上训练 |
| π0 | Physical Intelligence | 2024-10 | PaliGemma 主干 + 流匹配动作专家，最高 50 Hz 输出动作块 |
| GR00T N1 | NVIDIA | 2025-03 | 面向人形的双系统架构（慢速 VLM + 快速扩散动作头），开源权重 |
| SmolVLA | Hugging Face | 2025-06 | 约 4.5 亿参数，可在单张消费级显卡上训练 |
更多模型的参数量、动作表示和许可证见 VLA 与策略模型横评 和 具身模型库。
VLA 和 VLM 有什么区别？
| VLM（视觉语言模型） | VLA（视觉-语言-动作模型） | |
|---|---|---|
| 输出 | 文字（描述、回答、推理） | 机器人动作（关节角、末端位姿、夹爪开合） |
| 训练数据 | 网络图文对 | 图文数据 + 机器人遥操作 / 仿真轨迹 |
| 关系 | 常作为 VLA 的主干 | 在 VLM 上加动作头并用轨迹数据微调 |
VLA 和世界模型有什么区别？
两者经常一起出现，但解决的问题不同：
- VLA 回答“下一步该做什么”：输入观测与指令，输出动作，是机器人的策略（policy）。
- 世界模型回答“这样做之后会发生什么”：输入当前观测（和动作），预测未来的画面或状态，例如 NVIDIA Cosmos 这类世界基础模型。它常用来生成合成训练数据、做仿真评估或辅助规划。
实际系统里常组合使用：用世界模型生成或扩增数据，再训练 VLA；或让 VLA 在世界模型里“想象”多个动作的后果再选。
想上手 VLA 从哪开始
- 单卡入门：LeRobot SmolVLA 微调
- 复现主流基线：openpi π0 LIBERO 微调、OpenVLA LoRA 微调
- 架构深读：π0 vs π0.5 深度拆解、GR00T N1.5 / N1.7 与 Cosmos 技术栈
- 选硬件：机械臂多少钱一台、人形机器人多少钱一台
延伸选型与深度对比
基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。
宇树 G1
Franka FR3来源
本页事实对应的公开页面，以原文为准。