# EgoMimic框架：利用第一人称视频与3D手部追踪扩展模仿学习

> 原文链接：https://robotics.hellobike.com/papers/2024-10-31-2410-24221-ff60e90a
> 频道：papers | 更新日期：2024-10-31 | 标签：auto, arxiv, cs.RO, landmark
> 核心摘要：EgoMimic提出全栈模仿学习框架，通过Project Aria眼镜采集人体数据并联合训练。实验表明增加1小时人手数据比等量机器人数据更具价值，在长程双臂任务中显著优于SOTA方法并实现新场景泛化。

# EgoMimic框架：利用第一人称视频与3D手部追踪扩展模仿学习

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[EgoMimic: Scaling Imitation Learning via Egocentric Video](https://arxiv.org/abs/2410.24221)（arXiv 2410.24221）

## 核心内容

针对模仿学习演示数据规模与多样性瓶颈，研究团队发布EgoMimic全栈框架。该系统利用符合人体工学的Project Aria眼镜采集第一人称视频及3D手部追踪数据，配合低成本双臂机械臂以缩小运动学差异。核心突破在于将人类与机器人数据视为同等具身演示源进行统一策略联合训练，而非仅提取高层意图。实测显示，该框架在多种长程单臂及双臂操作任务上性能显著超越现有SOTA方法，并具备全新场景泛化能力。

技术架构包含四大模块：基于Project Aria的人体数据采集系统、低运动学差异的双臂硬件平台、跨域数据对齐算法及人机数据共训的模仿学习模型。量化验证揭示了关键Scaling规律：在该框架下，新增1小时人手数据的边际收益显著高于1小时机器人遥操数据。这一发现为缓解机器人真机数据采集成本高昂问题提供了实证路径，相关代码与数据集已在项目主页开源，支撑社区复现与二次开发。

## 关键看点

- **数据效能**：实验证实增加1小时人手数据的训练价值显著高于1小时机器人数据，有效降低真机采集依赖
- **采集硬件**：采用Project Aria眼镜获取第一人称视频与3D手部追踪，构建标准化人体具身数据集
- **联合训练**：摒弃仅提取高层意图范式，将人与机器人数据作为同等具身演示源进行统一策略共训
- **任务泛化**：在长程单臂及双臂操作任务上显著优于SOTA，并验证了向完全未见新场景迁移的能力

## 工程与产业观察

EgoMimic验证了第一人称人类视频可作为高质量具身训练资产，其“人手数据边际收益高于机器人数据”的结论为行业指明了低成本数据扩充方向。结合Project Aria采集端与跨域对齐算法，该方案为解决具身智能长尾场景数据匮乏提供了可复现的工程范式，对降低真机采数成本具有直接参考价值。

## 英文摘要 (Abstract)

The scale and diversity of demonstration data required for imitation learning is a significant challenge. We present EgoMimic, a full-stack framework which scales manipulation via human embodiment data, specifically egocentric human videos paired with 3D hand tracking. EgoMimic achieves this through: (1) a system to capture human embodiment data using the ergonomic Project Aria glasses, (2) a low-cost bimanual manipulator that minimizes the kinematic gap to human data, (3) cross-domain data alignment techniques, and (4) an imitation learning architecture that co-trains on human and robot data. Compared to prior works that only extract high-level intent from human videos, our approach treats human and robot data equally as embodied demonstration data and learns a unified policy from both data sources. EgoMimic achieves significant improvement on a diverse set of long-horizon, single-arm and bimanual manipulation tasks over state-of-the-art imitation learning methods and enables generalization to entirely new scenes. Finally, we show a favorable scaling trend for EgoMimic, where adding 1 hour of additional hand data is significantly more valuable than 1 hour of additional robot data. Videos and additional information can be found at https://egomimic.github.io/

作者：Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, Danfei Xu
:::

## 原始参考来源 (Sources)

- [arXiv 2410.24221：EgoMimic: Scaling Imitation Learning via Egocentric Video](https://arxiv.org/abs/2410.24221)