openvla-v01-7b

openvla 在 Hugging Face 发布的机器人模型，架构为 OpenVLA (Prismatic VLM 7B + Action Tokenizer)，参数规模 7.2B。

模型openvlaopenvla-v01-7b

模型档案汇总架构、许可、适配机型与资料来源

openvla-v01-7b

openvla 在 Hugging Face 发布的机器人模型，架构为 OpenVLA (Prismatic VLM 7B + Action Tokenizer)，参数规模 7.2B。

具身模型
端侧部署

VLA研究7.2B更新于 2024-06-14

Hugging Face

概述

这个模型的核心架构、动作空间设计与真机部署定位。

OpenVLA v0.1 7B 是一个开放的视觉-语言-动作模型，输入语言指令和机器人工作空间的相机图像，输出归一化的机器人动作。动作形式为 7-DoF 末端执行器增量，包括 x、y、z、roll、pitch、yaw 和 gripper。该版本是早期开发用模型，项目同时提示最佳模型为 openvla/openvla-7b。

模型基于 siglip-224px 微调，后者由 SigLIP ViT-So400M/14 视觉骨干和 Vicuña v1.5 语言模型组成。训练数据为 Open X-Embodiment 数据集中的 800K 机器人操作 episode，使用与 Octo 相同的混合数据。

它可在预训练混合中出现过的机器人形态与领域组合上进行零样本控制，例如 BridgeV2 环境中的 Widow-X 机器人；对新的任务和机器人设置，可用少量示教数据进行参数高效微调。实际执行时，预测动作需要按每个机器人、每个数据集统计量反归一化。模型和训练代码以 MIT 许可证发布。

资料出处 Hugging Face openvla/openvla-v01-7b

关键参数与架构规格

参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。

参数量: 7.2B
Hub 下载量: 139; 出处Hugging Face
Hub 点赞: 11; 出处Hugging Face

网络架构: OpenVLA (Prismatic VLM 7B + Action Tokenizer)
动作空间表示: 离散动作 Token (Autoregressive Action Tokens)
支持数据格式: SafeTensors

暂未公开或待收录：微调显存需求 · 闭环控制频率

快速部署与许可说明

开源许可证、权重拉取命令、预训练数据集与关联文章。

代码许可证

mit

权重许可证

mit

权重下载与策略推理参考

# 1. 使用 Transformers 加载 OpenVLA 视觉语言动作模型
from transformers import AutoModelForVision2Seq, AutoProcessor
import torch

processor = AutoProcessor.from_pretrained("openvla/openvla-v01-7b", trust_remote_code=True)
vla = AutoModelForVision2Seq.from_pretrained("openvla/openvla-v01-7b", torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, trust_remote_code=True).to("cuda:0")
# 2. 输入相机图像与自然语言指令预测 7-DoF 动作增量
inputs = processor("In: What action should the robot take to pick up the object?\nOut:", image).to("cuda:0", dtype=torch.bfloat16)
action = vla.predict_action(**inputs, unnorm_key="bridge_orig", do_sample=False)