# VLA 模型是什么？视觉-语言-动作模型原理、代表模型及与 VLM、世界模型的区别

> 原文链接：https://robotics.hellobike.com/wiki/what-is-vla-model
> 频道：wiki | 更新日期：2026-11-05 | 标签：VLA模型, VLA是什么, 视觉语言动作模型, 世界模型, 具身大模型
> 核心摘要：VLA（Vision-Language-Action）模型把相机画面和自然语言指令直接映射成机器人动作。本文讲清原理、RT-2/OpenVLA/π0/GR00T/SmolVLA 等代表模型，以及 VLA 与 VLM、世界模型的区别。

# VLA 模型是什么？

**一句话回答：VLA（Vision-Language-Action，视觉-语言-动作）模型输入相机画面和一句自然语言指令（如“把红色方块放进盒子”），直接输出机器人下一步的关节或末端动作。** 它通常在一个预训练的视觉语言模型（VLM）上继续用机器人轨迹数据训练，让模型把“看懂 + 听懂”的能力延伸到“动手”。

这个叫法来自 Google DeepMind 2023 年的 [RT-2 论文](https://arxiv.org/abs/2307.15818)，它把机器人动作离散成文本 token，与网络图文数据一起训练。

## VLA 的基本结构

```text
相机图像 ─┐
          ├─► 视觉语言主干（预训练 VLM）─┐
语言指令 ─┘                              ├─► 动作头（离散 token / 扩散 / 流匹配）─► 动作序列
本体状态（关节角等）─────────────────────┘
```

各家差异主要在**动作怎么表示**：

| 动作表示 | 做法 | 代表 |
| :--- | :--- | :--- |
| 离散 token | 把每个动作维度分桶，当作文本 token 自回归生成 | RT-2、[OpenVLA](/models/openvla-openvla-7b) |
| 流匹配 / 扩散 | 用连续生成模型一次输出一段动作块（action chunk），控制频率更高、动作更平滑 | [π0](/models/pi0-openpi)、[π0.5](/models/lerobot-pi05-base)、[GR00T N1.5](/models/nvidia-gr00t-n1-5-3b) |
| 小模型 + 动作专家 | 压缩 VLM 主干，适合消费级显卡训练与部署 | [SmolVLA](/models/lerobot-smolvla-base) |

## 代表模型速览

| 模型 | 发布方 | 公开时间 | 要点（来自论文） |
| :--- | :--- | :--- | :--- |
| RT-2 | Google DeepMind | 2023-07 | 提出 VLA 概念，动作离散成文本 token |
| [OpenVLA](/models/openvla-openvla-7b) | 斯坦福等 | 2024-06 | 7B 开源权重，在 Open X-Embodiment 约 97 万条轨迹上训练 |
| [π0](/models/pi0-openpi) | Physical Intelligence | 2024-10 | PaliGemma 主干 + 流匹配动作专家，最高 50 Hz 输出动作块 |
| [GR00T N1](/models/nvidia-gr00t-n1-5-3b) | NVIDIA | 2025-03 | 面向人形的双系统架构（慢速 VLM + 快速扩散动作头），开源权重 |
| [SmolVLA](/models/lerobot-smolvla-base) | Hugging Face | 2025-06 | 约 4.5 亿参数，可在单张消费级显卡上训练 |

更多模型的参数量、动作表示和许可证见 [VLA 与策略模型横评](/routes/vla-policy-model-compare) 和 [具身模型库](/models/)。

## VLA 和 VLM 有什么区别？

| | VLM（视觉语言模型） | VLA（视觉-语言-动作模型） |
| :--- | :--- | :--- |
| 输出 | 文字（描述、回答、推理） | 机器人动作（关节角、末端位姿、夹爪开合） |
| 训练数据 | 网络图文对 | 图文数据 + 机器人遥操作 / 仿真轨迹 |
| 关系 | 常作为 VLA 的主干 | 在 VLM 上加动作头并用轨迹数据微调 |

## VLA 和世界模型有什么区别？

两者经常一起出现，但解决的问题不同：

- **VLA 回答“下一步该做什么”**：输入观测与指令，输出动作，是机器人的**策略（policy）**。
- **世界模型回答“这样做之后会发生什么”**：输入当前观测（和动作），预测未来的画面或状态，例如 [NVIDIA Cosmos](/models/cosmos) 这类世界基础模型。它常用来生成合成训练数据、做仿真评估或辅助规划。

实际系统里常组合使用：用世界模型生成或扩增数据，再训练 VLA；或让 VLA 在世界模型里“想象”多个动作的后果再选。

## 想上手 VLA 从哪开始

- 单卡入门：[LeRobot SmolVLA 微调](/tutorials/lerobot-smolvla-finetune)
- 复现主流基线：[openpi π0 LIBERO 微调](/tutorials/openpi-pi0-libero-finetune)、[OpenVLA LoRA 微调](/tutorials/openvla-lora-finetune)
- 架构深读：[π0 vs π0.5 深度拆解](/explainers/openpi-pi0-pi05-flow-matching-vla)、[GR00T N1.5 / N1.7 与 Cosmos 技术栈](/explainers/nvidia-gr00t-n1-5-n1-7-cosmos-stack)
- 选硬件：[机械臂多少钱一台](/routes/robot-arm-spec-price-compare)、[人形机器人多少钱一台](/routes/humanoid-robot-spec-price-compare)

## 原始参考来源 (Sources)

- [RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control (arXiv 2307.15818)](https://arxiv.org/abs/2307.15818)
- [OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246)](https://arxiv.org/abs/2406.09246)
- [π0: A Vision-Language-Action Flow Model for General Robot Control (arXiv 2410.24164)](https://arxiv.org/abs/2410.24164)
- [GR00T N1: An Open Foundation Model for Generalist Humanoid Robots (arXiv 2503.14734)](https://arxiv.org/abs/2503.14734)
- [SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics (arXiv 2506.01844)](https://arxiv.org/abs/2506.01844)
- [Cosmos World Foundation Model Platform for Physical AI (arXiv 2501.03575)](https://arxiv.org/abs/2501.03575)