外观
MolmoAct2-DROID
allenai 在 Hugging Face 发布的机器人模型,架构为 MolmoAct 2 (Molmo VLM + Action Generation),参数规模 5.4B。
模型allenaiMolmoAct2-DROID
模型档案汇总架构、许可、适配机型与资料来源
allenai 在 Hugging Face 发布的机器人模型,架构为 MolmoAct 2 (Molmo VLM + Action Generation),参数规模 5.4B。
这个模型的核心架构、动作空间设计与真机部署定位。
MolmoAct2-DROID 是面向机器人控制的开放视觉-语言-动作模型检查点。模型基于 Molmo2-ER,并接入一个 flow-matching 连续动作专家;该动作专家通过逐层连接,基于 VLM 的 key-value cache 进行条件化。该检查点在 filtered DROID Franka mixture 上微调,使用 absolute joint-pose control,面向 DROID-style policy inference 和继续微调。
推理时建议使用连续动作预测,这也是默认使用的模式;离散动作预测仅用于对齐和调试,且需要调用方自行提供 action tokenizer。DROID 检查点微调时使用三个相机槽位,顺序为 exterior 1、exterior 2、wrist;只有一个外部相机和一个腕部相机时,可复制外部图像以匹配训练布局。state 使用原始机器人状态,输出动作是机器人尺度;推理需使用 norm_stats.json 并传入 norm_tag="franka_droid"。
该检查点不启用深度推理,调用 enable_depth_reasoning=True 会报错。float32 推理在其报告实验中使用,CUDA graph 开启约需 26GB 显存、关闭约 24GB;bfloat16 在测试中可低于 16GB。用于实体机器人前应验证输出,并结合动作限幅、控制器限制、任务安全约束和急停机制。
参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。
暂未公开或待收录:微调显存需求 · 闭环控制频率
开源许可证、权重拉取命令、预训练数据集与关联文章。
代码许可证
Apache-2.0
权重许可证
Apache-2.0
# 1. 从 Hugging Face Hub 下载模型权重与配置
huggingface-cli download allenai/MolmoAct2-DROID --local-dir ./checkpoints/allenai-molmoact2-droid
# 2. 使用 LeRobot / Transformers 加载策略开展真机或仿真闭环推理
python -m lerobot.scripts.eval --policy.path=allenai/MolmoAct2-DROID模型卡或论文声明在这些机器人上训练、微调或部署过;口径是作者声明,不是第三方复现。
| 适配机型 | 实测说明与帧率表现 | 记录日期 |
|---|---|---|
| Franka FR3 | AI2 MolmoAct2 在 DROID(Franka 7DoF + Robotiq 夹爪)上微调的视觉语言动作模型。 | 2026-10-21 |
同一家族里的热门模型。
本页事实对应的公开页面,以原文为准。