外观
路线对照arXiv 2406.0924614 天前
先看动作头，再看榜
这六条路线解决的不是同一个问题。OpenVLA 把动作做成语言模型里的离散 token；π0 用 flow matching 一次吐出一段连续动作；Octo、CogACT、RDT-1B 和 GR00T N1 走扩散动作头；Gemini Robotics 是闭源接口，本地微调显存这张表对它不适用。
目录卡上的记录：
| 模型 | 目录 id | 动作 | 参数 | 微调显存（目录卡） | 权重 |
|---|---|---|---|---|---|
| OpenVLA | openvla | 离散 token，每维 256 bins | 7B | 72 GB | 开源，Llama 2 许可证 |
| π0 | pi0-openpi | flow matching，50 步 action chunk，最高约 50 Hz | 3.3B | 22.5 GB | openpi 开源 |
| GR00T N1.7 | gr00t-n1-7 | Eagle 视觉 + 扩散动作头 | 见卡 | 40 GB | NVIDIA 模型许可 |
| Octo | octo / rail-berkeley-octo-base | 扩散 | 93M（Base） | 卡上未填 | 开源 |
| SmolVLA | smolvla | LeRobot 小 VLA | 450M | 卡上未填 | Apache-2.0 |
| RDT-1B | robotics-diffusion-transformer-rdt-1b | 扩散 Transformer | 约 1.2B | 卡上未填 | 权重在 Hugging Face |
Gemini Robotics 没有对应的目录模型卡。它适合「调用接口做语义操作」，不适合「把权重拿回来在自己的臂上全参微调」。
action chunk 和扩散分别换到什么
chunk 是一次预测未来 K 步，控制环里可以在这段时间里不再问模型。π0 的 chunk 长度是 50；OpenVLA-OFT 在 LIBERO 上用的是 K=8，再加并行解码，论文报告动作生成吞吐相对原版自回归提高一个数量级。chunk 太长，中间不看新图像，接触一偏就收不回来。
扩散和 flow matching 是迭代去噪，多模态动作（左边绕还是右边绕）比单峰回归稳，代价是步数。CogACT 默认扩散步数不多，并做了时间集成；OpenVLA-OFT 的消融里，连续 L1 回归比 50 步扩散更快，LIBERO 平均还略高。所以「扩散一定比回归准」不成立，要看控制频率和任务是不是多解。
显存不够时怎么砍
- 单卡 24 GB 量级：从 Octo-Base 或 SmolVLA 起步，不要一上来全参 OpenVLA。
- 目录卡写 π0 微调约 22.5 GB：以 openpi 当前脚本的 batch 为准，OOM 先减 batch，不要改动作归一化范围。
- OpenVLA 全参微调卡上写 72 GB。OFT 用 LoRA，论文的 LIBERO 配置是 r=32，这和 72 GB 全参不是同一件事。
- GR00T N1.7 卡上写 40 GB。多卡见 Isaac GR00T 微调一文，不要用单卡数字估算 8 卡。
榜怎么读
结构化分数在 content/taxonomy/benchmarks.yaml。这里只保留选型要用的结论。
LIBERO 上，能和 OpenVLA-OFT 97.1% 放在一起的，是同一张表里「第三人称 + 腕部相机 + 本体感觉、并且过滤了失败演示」的行：π0 94.2%，π0-FAST 85.5%。只给第三人称图像的 OpenVLA 原文微调是 76.5%，Octo-Base 75.1%，从零训练的 Diffusion Policy 72.4%。SpatialVLA 论文自己的微调是 78.1%，协议靠近后面这一组，不是 97.1% 那一组。
CogACT 和 RDT-1B 没有放进 LIBERO 块。CogACT 论文的主表是 SimplerEnv；RDT-1B 论文的主结果是双臂真机。把别的论文里的复现数字塞进同一列，会假装它们用了同一套输入和同一套数据过滤。
SimplerEnv 至少有两套平均。CogACT Table 1 把四个任务无权重平均，Google Robot Visual Matching 上 CogACT 74.8%、RT-2-X 46.3%、OpenVLA 34.3%、Octo-Base 11.0%。SpatialVLA Table VIII 的 Overall 把 RT-2-X 记成 60.7%。两个数字都是原文写的，差在有没有把「抽屉里放苹果」算进平均、以及子条件怎么加权。WidowX 上 CogACT Table 2 的平均是 51.3%，OpenVLA 是 4.2%。
怎么选
- 要复现 Franka 桌面、并且要改微调配方：OpenVLA-OFT。权重和评测脚本公开，离散 token 的原版先别用在 25 Hz 以上的双臂上。
- 要 LeRobot 数据、要一段连续动作、要和真机 client 分开部署：π0 / openpi。policy server 和机器人端用 WebSocket 拆开。
- 臂是人形或双臂，训练数据准备进 Isaac 的 LeRobot 格式：GR00T N1.5 / N1.7。RoboCasa365 官方多任务表里 N1.5 平均 20.0%，高于同表的 π0 14.8%。这是厨房长程仿真，不是 LIBERO。
- 只有一张消费级卡，任务是单臂短程：Octo-Base 或 SmolVLA。
- 双臂接触多、能接受扩散采样延迟：RDT-1B。用它自己的真机协议评估，不要拿 LIBERO 平均代替。
- 不能自建 GPU、任务偏语义而不是 50 Hz 关节伺服：Gemini Robotics 接口。闭源模型没有本榜的 LIBERO 四套件行。
来源
本页事实对应的公开页面，以原文为准。
- OpenVLA访问 2026-10-14
- OpenVLA-OFT访问 2026-10-14