概述

这套数据集的采集方式、多模态结构、存储格式与适用任务。

FORM-HOI（Foundry for Reconstruction from Multiview HOI）包含人-物交互视频序列及重建的人体和物体轨迹。序列由人类操作者执行并录制，提供四个已标定视角的 RGB 与深度视频，并配套用于视觉跟踪的物体网格、逐帧人体姿态和逐帧 6 DoF 物体姿态。

数据模态包括 H.264 MP4 中的 RGB 图像流、HDF5 压缩的深度与人/物体 mask、相机内外参 JSON、SOMA 与 MHR 人体参数、物体位姿 npy、带度量尺度的 GLB 纹理物体网格，以及地面平面和物体网格对称性信息。清洗发布版统计为 4,135 个 episode、约 29.144 小时，不包含 held-out object sequences。

该数据集面向训练 CARI4D 等 HOI 重建模型，也可用于机器人策略训练中的 grounding。标注由自动流程生成姿态注释，并由人工对不达标片段补充标注；failure_segments 记录人工质检或指标检查标出的区间，指标标记仅表示潜在质量问题。许可为 CC BY-4.0，可用于商业或非商业用途。

资料出处 Hugging Face datasets nvidia/form-hoi

关键规格与模态

数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。

总时长: 29.144h
演示轨迹数 (Episodes): 4135
Hub 下载量: 14.9k; 出处Hugging Face
Hub 点赞: 8; 出处Hugging Face

采集方式: 遥操作
开源协议: cc-by-4.0
传感器模态: 视频
标注粒度: 动作轨迹状态观测
存储格式: Parquet

数据下载与加载代码

通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。

# 使用 Hugging Face CLI 下载数据集
huggingface-cli download nvidia/form-hoi --repo-type dataset --local-dir ./data/nvidia-form-hoi

# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("nvidia/form-hoi")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")

关联采集机型与策略模型

采集或适配该数据集的机器人本体，以及可在其上训练/评估的 VLA 与控制策略模型。

尚未收录关联机型或引用它的模型。

Hugging Face

来源

本页事实对应的公开页面，以原文为准。

Hugging Face datasets nvidia/form-hoi访问 2026-10-26

form-hoi ​

概述

关键规格与模态

数据下载与加载代码

关联采集机型与策略模型

来源

form-hoi