# IA-Bench

> 权威词条地址：https://robotics.hellobike.com/datasets/irl-kit-ia-bench
> 所属分类：datasets | 最近核验日期：2026-08-31 | 技术层级：L6

## 核心摘要

irl-kit 在 Hugging Face 发布的机器人数据集，规模 1K<n<10K。

## 结构化工程参数

| 参数项 | 数值 / 配置 |
| :--- | :--- |
| `layers` | ["L6"] |
| `links` | [{"title": "Hugging Face", "url": "https://huggingface.co/datasets/irl-kit/IA-Bench"}] |
| `updated` | 2026-08-31 |
| `robots` | ["agibot-genie-g2"] |
| `modalities` | ["表格", "文本", "视频"] |
| `annotation_levels` | ["语言标注"] |
| `formats` | ["Parquet"] |
| `license` | apache-2.0 |
| `collection` | teleop |
| `hub_id` | irl-kit/IA-Bench |
| `hub_stats` | {"downloads": 1877, "likes": 2, "as_of": "2026-10-26"} |
| `overview_sources` | ["https://huggingface.co/datasets/irl-kit/IA-Bench"] |

## 技术详解与生态说明

IA-bench（Interaction-Aware Bench）是面向机器人操作子任务的交互对象标注数据集。每个样本对应一个子任务，包含完整子任务视频片段、与视频帧 1:1 对齐的夹爪本体感知、语言指令，以及交互对象在首帧和末帧的两个像素框：initial_object_box 与 target_object_box，格式为 [x1, y1, x2, y2]。

数据以多个配置提供，包括 agibot_world、bridge_lerobot、droid_lerobot、galaxea、oxe_lerobot、robocoin 和 all；all 配置包含 1,880 个唯一样本。视频字段为 mp4，保留原始分辨率和全部帧；proprio 为 JSON，包含统一命名的原始未归一化逐帧本体感知字段，如 gripper_state、eef_state、joint_pos，双臂数据使用 left_ / right_ 前缀。

仓库提供 eval_ia_bench.py，用于将预测的起始框和目标框与人工标注对比，并按数据集和整体报告 acc@IoU、AUROC、AURC、E-AURC、cov@90、cov@95、R@90、R@95 等指标。预测行需要包含 dataset、trajectory_name、subtask_index、两个框和置信度 score。

## 原始核验来源 (Sources)

- [Hugging Face datasets irl-kit/IA-Bench](https://huggingface.co/datasets/irl-kit/IA-Bench)