openvision2-vit-so400m-patch14-384-vision-only

UCSC-VLAA 在 Hugging Face 发布的机器人模型，基于 open_clip。

模型UCSC-VLAAopenvision2-vit-so400m-patch14-384-vision-only

模型档案汇总架构、许可、适配机型与资料来源

openvision2-vit-so400m-patch14-384-vision-only

UCSC-VLAA 在 Hugging Face 发布的机器人模型，基于 open_clip。

具身模型
端侧部署

VLA研究So400m更新于 2 个月前

Hugging Face

概述

这个模型的核心架构、动作空间设计与真机部署定位。

这是 OpenVision2 So400m/14 @384 的完整生成式模型，包含原先的 vision encoder 以及共同训练的 caption text decoder，可将图像映射为描述性 caption。编码器文件保持不变，新加入了解码器权重、配置、独立 PyTorch 解码器与端到端示例。

解码器是 concat / prefix-LM 自回归 Transformer，而不是 CoCa 式 cross-attention decoder：ViT patch tokens 经线性投影后作为双向前缀拼接，文本以因果方式生成并关注所有图像 token。架构为 27 层、宽度 1152、16 heads、MLP 4304、词表 32000；使用时需要带 create_vision_encoder_and_transforms 的 patched open_clip，以及 torch、safetensors 和 pillow。

资料出处 Hugging Face UCSC-VLAA/openvision2-vit-so400m-patch14-384-vision-only

关键参数与架构规格

参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。

Hub 下载量: 1k; 出处Hugging Face
Hub 点赞: 1; 出处Hugging Face

参数量: So400m
网络架构: LeRobot / PyTorch Policy Network
动作空间表示: 连续关节位置/末端位姿动作空间
支持数据格式: SafeTensors

暂未公开或待收录：微调显存需求 · 闭环控制频率

快速部署与许可说明

开源许可证、权重拉取命令、预训练数据集与关联文章。

代码许可证

Apache-2.0

权重许可证

Apache-2.0

权重下载与策略推理参考

# 1. 从 Hugging Face Hub 下载模型权重与配置
huggingface-cli download UCSC-VLAA/openvision2-vit-so400m-patch14-384-vision-only --local-dir ./checkpoints/ucsc-vlaa-openvision2-vit-so400m-patch14-384-vision-only

# 2. 使用 LeRobot / Transformers 加载策略开展真机或仿真闭环推理
python -m lerobot.scripts.eval --policy.path=UCSC-VLAA/openvision2-vit-so400m-patch14-384-vision-only