Skip to content

OmniAction ​

OmniAction

OpenMOSS-Team 在 Hugging Face 发布的机器人数据集。

数据集OpenMOSS-TeamOmniAction

数据集档案汇总规模、格式、关联机型与模型

OmniAction

OpenMOSS-Team 在 Hugging Face 发布的机器人数据集。

  • 数据与采集
遥操作cc-by-nc-4.0更新于 7 个月前

概述

这套数据集的采集方式、多模态结构、存储格式与适用任务。

OmniAction 是面向上下文指令跟随的多模态机器人操作数据集,用于支持 RoboOmni 所关注的主动意图识别与操作执行场景。其设定不是依赖显式命令,而是从 spoken dialogue、environmental sounds 和 visual cues 中推断用户意图,覆盖日常交互中的情感、声音和多人对话线索。

数据集包含 141,162 个 episodes,覆盖 112 项 skills 和 748 个 objects,并加入 5,096 种说话人音色、2,482 类非语言声音事件以及 640 个环境背景。上下文指令分为六类:sentiment cues、overlapping voices、non-verbal cues、identity cues、dyadic dialogue 和 triadic dialogue。

数据格式为 RLDS,音频按文件名排序。由于数据集体量较大,当前以分批方式上传,完整数据将在上传完成后可访问。

资料出处 Hugging Face datasets OpenMOSS-Team/OmniAction

关键规格与模态

数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。

演示轨迹数 (Episodes)
141162
Hub 下载量
223k
出处Hugging Face
Hub 点赞
293
出处Hugging Face
采集方式
遥操作
开源协议
cc-by-nc-4.0
传感器模态
视频图像状态观测
标注粒度
动作轨迹状态观测
存储格式
Parquet

暂未公开或待收录:总时长

数据下载与加载代码

通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。

# 使用 Hugging Face CLI 下载数据集
huggingface-cli download OpenMOSS-Team/OmniAction --repo-type dataset --local-dir ./data/openmoss-team-omniaction

# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("OpenMOSS-Team/OmniAction")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")

关联采集机型与策略模型

采集或适配该数据集的机器人本体,以及可在其上训练/评估的 VLA 与控制策略模型。

尚未收录关联机型或引用它的模型。

来源

本页事实对应的公开页面,以原文为准。

  1. Hugging Face datasets OpenMOSS-Team/OmniAction访问 2026-10-26