外观
这套数据集的采集方式、多模态结构、存储格式与适用任务。
OmniAction 是面向上下文指令跟随的多模态机器人操作数据集,用于支持 RoboOmni 所关注的主动意图识别与操作执行场景。其设定不是依赖显式命令,而是从 spoken dialogue、environmental sounds 和 visual cues 中推断用户意图,覆盖日常交互中的情感、声音和多人对话线索。
数据集包含 141,162 个 episodes,覆盖 112 项 skills 和 748 个 objects,并加入 5,096 种说话人音色、2,482 类非语言声音事件以及 640 个环境背景。上下文指令分为六类:sentiment cues、overlapping voices、non-verbal cues、identity cues、dyadic dialogue 和 triadic dialogue。
数据格式为 RLDS,音频按文件名排序。由于数据集体量较大,当前以分批方式上传,完整数据将在上传完成后可访问。
数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。
暂未公开或待收录:总时长
通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。
# 使用 Hugging Face CLI 下载数据集
huggingface-cli download OpenMOSS-Team/OmniAction --repo-type dataset --local-dir ./data/openmoss-team-omniaction
# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("OpenMOSS-Team/OmniAction")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")采集或适配该数据集的机器人本体,以及可在其上训练/评估的 VLA 与控制策略模型。
尚未收录关联机型或引用它的模型。
本页事实对应的公开页面,以原文为准。