openvla-7b-oft-finetuned-libero-plus-mixdata (VLA · 7.5B) 架构解析、开源权重与部署指南

概述

这个模型的核心架构、动作空间设计与真机部署定位。

该仓库对应论文“In-depth Robustness Analysis for Vision-Language-Action Models”，提供 LIBERO-plus 相关实现、基准以及经过 mix-SFT 的 OpenVLA-OFT 权重，同时可获取资产和训练数据。LIBERO-plus 用于对视觉-语言-动作模型做鲁棒性评估，覆盖物体布局、相机视角、机器人初始状态、语言指令、光照、背景纹理和传感器噪声 7 个扰动维度，共 10,030 个任务。

模型侧评估了 OpenVLA 及 OFT、OFT_w、OFT_m 变体，以及 π₀、π₀-fast、Nora、WorldVLA、UniVLA、RIPT-VLA。结果显示 VLA 模型对相机视角和机器人初始状态非常敏感，语言指令改写下也暴露出“语言忽视”等问题；表中 OpenVLA-OFT+ 表示 OpenVLA-OFT 在 LIBERO-plus 数据集上进行 mix-SFT 后的表现，总分为 79.6。

使用上，可将原始 libero 替换为通过 pip install -e . 安装的版本而不改代码；评估方式几乎与 LIBERO 相同，只需把配置中的 num_trials_per_task 从 50 调整为 1。

资料出处 Hugging Face Sylvest/openvla-7b-oft-finetuned-libero-plus-mixdata

关键参数与架构规格

参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。

参数量: 7.5B
Hub 下载量: 232; 出处Hugging Face
Hub 点赞: 6; 出处Hugging Face

网络架构: OpenVLA (Prismatic VLM 7B + Action Tokenizer)
动作空间表示: 离散动作 Token (Autoregressive Action Tokens)
支持数据格式: SafeTensors

暂未公开或待收录：微调显存需求 · 闭环控制频率

快速部署与许可说明

开源许可证、权重拉取命令、预训练数据集与关联文章。

代码许可证

mit

权重许可证

mit

权重下载与策略推理参考

# 1. 使用 Transformers 加载 OpenVLA 视觉语言动作模型
from transformers import AutoModelForVision2Seq, AutoProcessor
import torch

processor = AutoProcessor.from_pretrained("Sylvest/openvla-7b-oft-finetuned-libero-plus-mixdata", trust_remote_code=True)
vla = AutoModelForVision2Seq.from_pretrained("Sylvest/openvla-7b-oft-finetuned-libero-plus-mixdata", torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, trust_remote_code=True).to("cuda:0")
# 2. 输入相机图像与自然语言指令预测 7-DoF 动作增量
inputs = processor("In: What action should the robot take to pick up the object?\nOut:", image).to("cuda:0", dtype=torch.bfloat16)
action = vla.predict_action(**inputs, unnorm_key="bridge_orig", do_sample=False)