外观
这套数据集的采集方式、多模态结构、存储格式与适用任务。
IA-bench(Interaction-Aware Bench)是面向机器人操作子任务的交互对象标注数据集。每个样本对应一个子任务,包含完整子任务视频片段、与视频帧 1:1 对齐的夹爪本体感知、语言指令,以及交互对象在首帧和末帧的两个像素框:initial_object_box 与 target_object_box,格式为 [x1, y1, x2, y2]。
数据以多个配置提供,包括 agibot_world、bridge_lerobot、droid_lerobot、galaxea、oxe_lerobot、robocoin 和 all;all 配置包含 1,880 个唯一样本。视频字段为 mp4,保留原始分辨率和全部帧;proprio 为 JSON,包含统一命名的原始未归一化逐帧本体感知字段,如 gripper_state、eef_state、joint_pos,双臂数据使用 left_ / right_ 前缀。
仓库提供 eval_ia_bench.py,用于将预测的起始框和目标框与人工标注对比,并按数据集和整体报告 acc@IoU、AUROC、AURC、E-AURC、cov@90、cov@95、R@90、R@95 等指标。预测行需要包含 dataset、trajectory_name、subtask_index、两个框和置信度 score。
数据规模、传感器模态、标注层级、存储格式及 Hugging Face Hub 下载热度。
暂未公开或待收录:总时长 · 演示轨迹数 (Episodes)
通过 Hugging Face CLI 或 LeRobot Dataset API 直接读取帧序列与动作标签。
# 使用 Hugging Face CLI 下载数据集
huggingface-cli download irl-kit/IA-Bench --repo-type dataset --local-dir ./data/irl-kit-ia-bench
# 在 Python / LeRobot 中加载数据集
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("irl-kit/IA-Bench")
print(f"Episodes: {dataset.num_episodes}, Frames: {dataset.num_frames}")采集或适配该数据集的机器人本体,以及可在其上训练/评估的 VLA 与控制策略模型。
本页事实对应的公开页面,以原文为准。