外观
Skip to content
数据集nvidiavideo_to_data_challenge
数据集档案汇总规模、格式、关联机型与模型
video_to_data_challenge
nvidia 在 Hugging Face 发布的机器人数据集，规模 n<1K。
概述
这套数据集的采集方式、多模态结构、存储格式与适用任务。
Video to Data（V2D）Challenge Dataset 是 NVIDIA 开发的基准数据集，用于研究从人类示范视频到具备物理依据的机器人行为的完整路径。它围绕共享的操作任务设置三个关联赛道：4D 人-物交互重建、机器人 grounding，以及端到端第一视角迁移。
重建赛道以单目第三人称 RGB 视频为输入，恢复人体、手、物体位姿轨迹、物体几何与尺度，并按重建精度和物理合理性评估。机器人 grounding 赛道提供干净多视角捕捉、合成扰动和现有重建方法输出三个输入层级，用于重定向示范并学习可执行策略。第一视角赛道从人类 egocentric 视频生成机器人策略，可使用显式重建与重定向或端到端方法；发布资产可能包含第一视角视频、动捕轨迹、序列元数据、带纹理 3D 物体网格和 URDF 描述。
关键规格与模态
数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。
- 采集方式
- 人类视频
- 开源协议
- cc-by-4.0
- 传感器模态
- 三维视频
- 标注粒度
- 三维标注
- 存储格式
- Parquet
暂未公开或待收录：总时长 · 演示轨迹数 (Episodes)
数据下载与加载代码
通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。
# 使用 Hugging Face CLI 下载数据集
huggingface-cli download nvidia/video_to_data_challenge --repo-type dataset --local-dir ./data/nvidia-video-to-data-challenge
# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("nvidia/video_to_data_challenge")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")关联采集机型与策略模型
采集或适配该数据集的机器人本体，以及可在其上训练/评估的 VLA 与控制策略模型。
尚未收录关联机型或引用它的模型。
来源
本页事实对应的公开页面，以原文为准。
- Hugging Face datasets nvidia/video_to_data_challenge访问 2026-10-27