概述

这套数据集的采集方式、多模态结构、存储格式与适用任务。

D2E-480p 是 D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI 的数据集，包含来自 29 款 PC 游戏的 268.7 小时同步视频、音频和输入事件，覆盖 FPS、开放世界、沙盒等类型。它面向游戏智能体的视觉-动作轨迹训练，也可用于面向具身 AI 迁移的视觉-动作模型预训练，以及世界模型或视频生成训练。

数据以 480p、60fps 的 H.264 视频和游戏音频提供，输入事件包括键盘按下/释放与按键状态、鼠标点击、屏幕坐标、原始 HID 位移、按钮状态和活动窗口信息，均带纳秒时间戳并与视频帧同步。视频采用固定 0.5 秒关键帧间隔并禁用 B 帧，以支持高效随机访问。

格式为基于 MCAP 的 OWAMcap，每个游戏文件夹包含配对的 .mcap 与 .mkv；.mcap 存储指向视频帧的 MediaRef，调用 load_frame_array() 时按需从 .mkv 解码。可使用 mcap-owa-support、owa-msgs 和 huggingface_hub 读取，也提供 owa-data 将数据转换为可用于 PyTorch DataLoader 的 HuggingFace Datasets。

资料出处 Hugging Face datasets open-world-agents/D2E-480p

关键规格与模态

数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。

总时长: 268.7h
Hub 下载量: 8.2k; 出处Hugging Face
Hub 点赞: 1; 出处Hugging Face

采集方式: 遥操作
开源协议: cc-by-nc-4.0
传感器模态: 视频
标注粒度: 动作轨迹状态观测
存储格式: Parquet

暂未公开或待收录：演示轨迹数 (Episodes)

数据下载与加载代码

通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。

# 使用 Hugging Face CLI 下载数据集
huggingface-cli download open-world-agents/D2E-480p --repo-type dataset --local-dir ./data/open-world-agents-d2e-480p

# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("open-world-agents/D2E-480p")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")

关联采集机型与策略模型

采集或适配该数据集的机器人本体，以及可在其上训练/评估的 VLA 与控制策略模型。

尚未收录关联机型或引用它的模型。

Hugging Face

来源

本页事实对应的公开页面，以原文为准。

Hugging Face datasets open-world-agents/D2E-480p访问 2026-10-26

D2E-480p ​

概述

关键规格与模态

数据下载与加载代码

关联采集机型与策略模型

来源

D2E-480p