# UMI框架开源：手持采集实现双手动态操作策略零样本跨平台迁移

> 原文链接：https://robotics.hellobike.com/papers/2024-02-15-2402-10329-9a9696d4
> 频道：papers | 更新日期：2024-02-15 | 标签：auto, arxiv, cs.RO, landmark
> 核心摘要：UMI框架通过手持夹持器与相对轨迹动作表示，解决野外示教数据到机器人策略的迁移难题。支持双手动态操作零样本泛化，具备推理延迟匹配与硬件无关性，软硬件系统已完全开源。

# UMI框架开源：手持采集实现双手动态操作策略零样本跨平台迁移

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots](https://arxiv.org/abs/2402.10329)（arXiv 2402.10329）

## 核心内容

arXiv论文提出通用操作接口UMI，旨在解决真实场景人类示教向可部署机器人策略转化的数据鸿沟。该框架采用手持夹持器进行低成本、高信息密度的数据采集，专门针对复杂的双手协作及动态操作任务。实验验证表明，仅通过更换训练数据，UMI即可赋予机器人零样本泛化能力，使其在新环境与新物体上精准执行长时序动态行为，且相关软硬件资源已在umi-gripper.github.io开源。

技术层面，UMI设计了包含推理时延迟匹配与相对轨迹动作表示的策略接口，有效消除了人手示教与机器人执行间的时空差异。这种相对动作表征使学习到的策略具备硬件无关性，可直接跨平台部署于不同机械臂本体。系统通过精细的接口设计保障了便携式采集设备的数据丰富度，结合多样化的真实世界人类演示数据训练，实现了从数据采集、策略学习到多平台部署的全链路标准化，显著降低了具身操作技能的获取门槛。

## 关键看点

- **相对轨迹表征**：采用相对轨迹动作表示与推理延迟匹配机制，消除人机运动差异，实现策略硬件无关与跨平台部署
- **手持数据采集**：利用手持夹持器替代真机遥操作，低成本获取高信息密度数据，支持复杂双手动态操作示教
- **零样本泛化能力**：基于多样化人类演示训练，策略无需微调即可在新环境与新物体上执行精准长时序动态任务
- **全栈开源生态**：UMI硬件设计与软件系统完全开源，提供标准化的数据采集与策略学习工具链

## 工程与产业观察

UMI确立了“手持采集+相对动作”的具身数据范式，将高质量操作数据获取成本降至消费级，解决了真机遥操作效率低与仿真数据域差距大的痛点。其硬件无关的策略接口为跨本体技能复用提供了工程基准，对构建通用操作基础模型的数据基础设施具有重要参考价值。

## 英文摘要 (Abstract)

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.

作者：Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song
:::

## 原始参考来源 (Sources)

- [arXiv 2402.10329：Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots](https://arxiv.org/abs/2402.10329)