外观
Skip to content
数据集MINT-SJTURoboFAC-dataset
数据集档案汇总规模、格式、关联机型与模型
RoboFAC-dataset
MINT-SJTU 在 Hugging Face 发布的机器人数据集，规模 10K<n<100K。
概述
这套数据集的采集方式、多模态结构、存储格式与适用任务。
RoboFAC 是面向机器人失败分析与纠正的多模态 VQA 数据集，用于基准测试机器人操作中的多模态推理和错误纠正。数据集包含模拟与真实环境演示，支持 VQA、failure reasoning、机器人失败检测与纠正，以及机器人视觉语言模型评估。
数据规模包括超过 10,000 段机器人操作视频、78,623 个问答对、9,440 条错误操作轨迹、1,282 条成功参考轨迹，覆盖 16 个操作任务和 53 个不同场景。任务包括堆叠、拉/推方块、插入 peg 或 cylinder、插充电器、使用工具、微波炉与保险箱等操作。
数据组织上，每个叶子目录包含一个 .h5 文件和一个 .json 文件；.json 中为每条轨迹提供 episode_id 和 unique_id，unique_id 对应视频名，可通过 episode_id 在 .h5 文件中找到相应运动学数据。数据集语言为英语，许可为 MIT License。
关键规格与模态
数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。
- 采集方式
- 遥操作
- 开源协议
- mit
- 传感器模态
- 视频图像状态观测
- 标注粒度
- 动作轨迹状态观测
- 存储格式
- Parquet
暂未公开或待收录：总时长 · 演示轨迹数 (Episodes)
数据下载与加载代码
通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。
# 使用 Hugging Face CLI 下载数据集
huggingface-cli download MINT-SJTU/RoboFAC-dataset --repo-type dataset --local-dir ./data/mint-sjtu-robofac-dataset
# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("MINT-SJTU/RoboFAC-dataset")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")关联采集机型与策略模型
采集或适配该数据集的机器人本体，以及可在其上训练/评估的 VLA 与控制策略模型。
尚未收录关联机型或引用它的模型。
来源
本页事实对应的公开页面，以原文为准。
- Hugging Face datasets MINT-SJTU/RoboFAC-dataset访问 2026-10-27