外观
Skip to content
数据集open-world-agentsD2E-Original
数据集档案汇总规模、格式、关联机型与模型
D2E-Original
open-world-agents 在 Hugging Face 发布的机器人数据集，规模 n<1K。
概述
这套数据集的采集方式、多模态结构、存储格式与适用任务。
D2E-Original 是 D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI 的原始数据集，包含来自 29 款 PC 游戏的 273.4 小时同步视频、音频和输入事件。游戏覆盖 FPS、开放世界、模拟、沙盒、Roguelike 等类型，用于训练世界模型、视频生成模型、游戏智能体，以及面向具身 AI 迁移的视觉-动作预训练。
数据包含 FHD/QHD、60fps 的 H.264 视频与游戏音频，并记录键盘按下/释放与状态、鼠标点击、屏幕坐标、原始 HID 位移、按钮状态和活动窗口信息，均带纳秒时间戳并与视频帧同步。数据采用 OWAMcap 格式，基于 MCAP，.mcap 存储指向 .mkv 视频帧的 MediaRef，可按需解码；同时提供 OWAMcap reader、消息定义，以及可转换为 HuggingFace Datasets 并用于 PyTorch DataLoader 的 owa-data 管线。
关键规格与模态
数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。
- 总时长
- 273.4h
- 采集方式
- 遥操作
- 开源协议
- cc-by-nc-4.0
- 传感器模态
- 视频
- 标注粒度
- 动作轨迹状态观测
- 存储格式
- Parquet
暂未公开或待收录：演示轨迹数 (Episodes)
数据下载与加载代码
通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。
# 使用 Hugging Face CLI 下载数据集
huggingface-cli download open-world-agents/D2E-Original --repo-type dataset --local-dir ./data/open-world-agents-d2e-original
# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("open-world-agents/D2E-Original")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")关联采集机型与策略模型
采集或适配该数据集的机器人本体，以及可在其上训练/评估的 VLA 与控制策略模型。
尚未收录关联机型或引用它的模型。
来源
本页事实对应的公开页面，以原文为准。
- Hugging Face datasets open-world-agents/D2E-Original访问 2026-10-26