CogACT-Base

CogACT 在 Hugging Face 发布的机器人模型，架构为 CogACT (VLM + DiT Action Module)。

模型CogACTCogACT-Base

模型档案汇总架构、许可、适配机型与资料来源

CogACT-Base

CogACT 在 Hugging Face 发布的机器人模型，架构为 CogACT (VLM + DiT Action Module)。

具身模型
端侧部署

VLA研究80M更新于 2024-12-04

Hugging Face

概述

这个模型的核心架构、动作空间设计与真机部署定位。

CogACT-Base 是面向机器人操作的 Vision-Language-Action 模型，输入语言指令和单视角 RGB 图像，预测接下来的 16 个归一化机器人动作。动作形式为 7-DoF 末端执行器增量，包括 x、y、z、roll、pitch、yaw 和 gripper。

该模型采用从 VLM 派生的组件化 VLA 架构，由 VLM 输出条件化专门的动作模块；CogACT-Base 使用 DiT-Base 作为动作模块，视觉骨干为 DINOv2 ViT-L/14 和 SigLIP ViT-So400M/14，语言模型为 Llama-2，预训练数据为 Open X-Embodiment 的一个子集。

CogACT 可用于 Open-X 预训练混合中已见设置的机器人零样本控制，也可用少量演示针对新任务和新机器人设置微调。预测动作需要结合数据集统计进行反归一化，并可选使用 Adaptive Action Ensemble；代码和预训练权重采用 MIT 许可。

资料出处 Hugging Face CogACT/CogACT-Base

关键参数与架构规格

参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。

参数量: 80M
Hub 下载量: 1.3k; 出处Hugging Face
Hub 点赞: 19; 出处Hugging Face

网络架构: CogACT (VLM + DiT Action Module)
动作空间表示: 连续关节动作块 (Action Chunking)
支持数据格式: SafeTensors

暂未公开或待收录：微调显存需求 · 闭环控制频率

公开基准跑分

分数来自 taxonomy/benchmarks.yaml，只展示已关联到本模型的条目。

基准	平均	协议	出处
SimplerEnv Google Robot Visual Matching	74.8%	OXE-trained CogACT, DiT-Base action module, Google Robot visual matching	CogACT Table 1, SIMPLER Visual Matching
SimplerEnv Google Robot Variant Aggregation	61.3%	variant aggregation, 4-task unweighted mean	CogACT Table 1, SIMPLER Variant Aggregation
SimplerEnv WidowX Visual Matching	51.3%	WidowX visual matching	CogACT Table 2, WidowX Visual Matching

快速部署与许可说明

开源许可证、权重拉取命令、预训练数据集与关联文章。

代码许可证

mit

权重许可证

mit

权重下载与策略推理参考

# 1. 从 Hugging Face Hub 下载模型权重与配置
huggingface-cli download CogACT/CogACT-Base --local-dir ./checkpoints/cogact-cogact-base

# 2. 使用 LeRobot / Transformers 加载策略开展真机或仿真闭环推理
python -m lerobot.scripts.eval --policy.path=CogACT/CogACT-Base