Skip to content

MolmoAct2-DROID ​

MolmoAct2-DROID

allenai 在 Hugging Face 发布的机器人模型,架构为 MolmoAct 2 (Molmo VLM + Action Generation),参数规模 5.4B。

模型allenaiMolmoAct2-DROID

模型档案汇总架构、许可、适配机型与资料来源

MolmoAct2-DROID

allenai 在 Hugging Face 发布的机器人模型,架构为 MolmoAct 2 (Molmo VLM + Action Generation),参数规模 5.4B。

  • 具身模型
其他研究5.4B更新于 5 个月前

概述

这个模型的核心架构、动作空间设计与真机部署定位。

MolmoAct2-DROID 是面向机器人控制的开放视觉-语言-动作模型检查点。模型基于 Molmo2-ER,并接入一个 flow-matching 连续动作专家;该动作专家通过逐层连接,基于 VLM 的 key-value cache 进行条件化。该检查点在 filtered DROID Franka mixture 上微调,使用 absolute joint-pose control,面向 DROID-style policy inference 和继续微调。

推理时建议使用连续动作预测,这也是默认使用的模式;离散动作预测仅用于对齐和调试,且需要调用方自行提供 action tokenizer。DROID 检查点微调时使用三个相机槽位,顺序为 exterior 1、exterior 2、wrist;只有一个外部相机和一个腕部相机时,可复制外部图像以匹配训练布局。state 使用原始机器人状态,输出动作是机器人尺度;推理需使用 norm_stats.json 并传入 norm_tag="franka_droid"。

该检查点不启用深度推理,调用 enable_depth_reasoning=True 会报错。float32 推理在其报告实验中使用,CUDA graph 开启约需 26GB 显存、关闭约 24GB;bfloat16 在测试中可低于 16GB。用于实体机器人前应验证输出,并结合动作限幅、控制器限制、任务安全约束和急停机制。

资料出处 Hugging Face allenai/MolmoAct2-DROID

关键参数与架构规格

参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。

参数量
5.4B
Hub 下载量
2.3k
出处Hugging Face
Hub 点赞
5
出处Hugging Face
网络架构
MolmoAct 2 (Molmo VLM + Action Generation)
动作空间表示
离散动作 Token (Autoregressive Action Tokens)
支持数据格式
SafeTensors

暂未公开或待收录:微调显存需求 · 闭环控制频率

快速部署与许可说明

开源许可证、权重拉取命令、预训练数据集与关联文章。

代码许可证

Apache-2.0

权重许可证

Apache-2.0

权重下载与策略推理参考

# 1. 从 Hugging Face Hub 下载模型权重与配置
huggingface-cli download allenai/MolmoAct2-DROID --local-dir ./checkpoints/allenai-molmoact2-droid

# 2. 使用 LeRobot / Transformers 加载策略开展真机或仿真闭环推理
python -m lerobot.scripts.eval --policy.path=allenai/MolmoAct2-DROID

关联机型

模型卡或论文声明在这些机器人上训练、微调或部署过;口径是作者声明,不是第三方复现。

机型关联记录 1

适配机型实测说明与帧率表现记录日期
Franka FR3AI2 MolmoAct2 在 DROID(Franka 7DoF + Robotiq 夹爪)上微调的视觉语言动作模型。2026-10-21

同家族模型

同一家族里的热门模型。

来源

本页事实对应的公开页面,以原文为准。

  1. Hugging Face allenai/MolmoAct2-DROID访问 2026-10-21