外观
RDT2-VQ
robotics-diffusion-transformer 在 Hugging Face 发布的机器人模型,架构为 Qwen2_5_VLForConditionalGeneration,参数规模 8.3B。
模型robotics-diffusion-transformerRDT2-VQ
模型档案汇总架构、许可、适配机型与资料来源
robotics-diffusion-transformer 在 Hugging Face 发布的机器人模型,架构为 Qwen2_5_VLForConditionalGeneration,参数规模 8.3B。
这个模型的核心架构、动作空间设计与真机部署定位。
RDT2-VQ 是一个自回归视觉-语言-动作模型,改自 Qwen2.5-VL-7B-Instruct,面向双臂操作。它从左右腕部相机 RGB 图像和自然语言指令预测短时域相对动作块;动作以轻量 Residual VQ tokenizer 离散化,单块为 24 步、每步 20 维。训练数据来自 10k+ 小时、100+ 室内场景的 UMI 夹爪人类操作数据。
模型已在 Bimanual UR5e 和 Franka Research 3 设置上展示零样本跨本体迁移,目标是支持 pick、place、shake、wipe 等简单开放词汇技能。推理约需单 GPU、32GB RAM 和 16GB VRAM;部署实机前需要完成末端与相机硬件设置和标定。限制包括对标定质量、相机位置、夹爪细节、动作归一化和 RVQ code 兼容性的依赖,安全关键使用需监督、联锁和保守速度/力限制。
参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。
暂未公开或待收录:微调显存需求 · 闭环控制频率
开源许可证、权重拉取命令、预训练数据集与关联文章。
代码许可证
apache-2.0
权重许可证
apache-2.0
# 1. 下载 RDT 双臂扩散 Transformer 预训练权重
huggingface-cli download robotics-diffusion-transformer/RDT2-VQ --local-dir ./checkpoints/robotics-diffusion-transformer-rdt2-vq
# 2. 启动双臂 128 维统一动作空间推理
python -m scripts.inference --pretrained_model_name_or_path=./checkpoints/robotics-diffusion-transformer-rdt2-vq模型卡或论文声明在这些机器人上训练、微调或部署过;口径是作者声明,不是第三方复现。
没有已核实的适配记录。
同一家族里的热门模型。
本页事实对应的公开页面,以原文为准。