RDT2-FM

robotics-diffusion-transformer 在 Hugging Face 发布的机器人模型，架构为 Diffusion Policy (CNN / Transformer UNet)。

模型robotics-diffusion-transformerRDT2-FM

模型档案汇总架构、许可、适配机型与资料来源

RDT2-FM

robotics-diffusion-transformer 在 Hugging Face 发布的机器人模型，架构为 Diffusion Policy (CNN / Transformer UNet)。

具身模型
端侧部署

VLA研究80M更新于 8 个月前

Hugging Face

概述

这个模型的核心架构、动作空间设计与真机部署定位。

RDT2-FM 是 RDT 2 的动作专家组件，构建在视觉语言骨干 RDT2-VQ 之上，用于根据观测和文本指令预测短时域相对动作块。它采用改进的 RDT 架构与 flow-matching 目标，策略头不需要迭代去噪，面向低延迟闭环控制。

该模型以双腕部 RGB 图像和简短祈使句指令为输入，推荐指令格式为“Verb + Object.”。动作表示面向 UMI 双臂设置，每 24 步块输出 20 维连续相对增量，覆盖左右臂的位置、6D 旋转和夹爪宽度。

模型设计用于经正确标定后的双臂平台，例如 UR5e 和 Franka FR3；使用时需完成末端与相机硬件设置和标定。单卡推理和微调 FM head 的显存需求约 16GB，训练与推理精度使用 bfloat16；行为会受标定质量、相机位置、归一化和数据/动作统计偏移影响。

资料出处 Hugging Face robotics-diffusion-transformer/RDT2-FM

关键参数与架构规格

参数量、网络主干、控制频率、显存需求及 Hugging Face Hub 统计。

参数量: 80M
微调显存需求: 16GB
Hub 下载量: 116; 出处Hugging Face
Hub 点赞: 10; 出处Hugging Face

网络架构: Diffusion Policy (CNN / Transformer UNet)
动作空间表示: 连续扩散去噪轨迹 (Diffusion Action Trajectory)
支持数据格式: SafeTensors

暂未公开或待收录：闭环控制频率

快速部署与许可说明

开源许可证、权重拉取命令、预训练数据集与关联文章。

代码许可证

apache-2.0

权重许可证

apache-2.0

权重下载与策略推理参考

# 1. 下载 RDT 双臂扩散 Transformer 预训练权重
huggingface-cli download robotics-diffusion-transformer/RDT2-FM --local-dir ./checkpoints/robotics-diffusion-transformer-rdt2-fm

# 2. 启动双臂 128 维统一动作空间推理
python -m scripts.inference --pretrained_model_name_or_path=./checkpoints/robotics-diffusion-transformer-rdt2-fm