具身开发者社区

外观

论文arXiv 2402.103292024-02-15

UMI框架开源：手持采集实现双手动态操作策略零样本跨平台迁移 ​

UMI框架通过手持夹持器与相对轨迹动作表示，解决野外示教数据到机器人策略的迁移难题。支持双手动态操作零样本泛化，具备推理延迟匹配与硬件无关性，软硬件系统已完全开源。

AI 整理
  • 仿真与训练
  • 数据与采集
  • 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots（arXiv 2402.10329）

核心内容 ​

arXiv论文提出通用操作接口UMI，旨在解决真实场景人类示教向可部署机器人策略转化的数据鸿沟。该框架采用手持夹持器进行低成本、高信息密度的数据采集，专门针对复杂的双手协作及动态操作任务。实验验证表明，仅通过更换训练数据，UMI即可赋予机器人零样本泛化能力，使其在新环境与新物体上精准执行长时序动态行为，且相关软硬件资源已在umi-gripper.github.io开源。

技术层面，UMI设计了包含推理时延迟匹配与相对轨迹动作表示的策略接口，有效消除了人手示教与机器人执行间的时空差异。这种相对动作表征使学习到的策略具备硬件无关性，可直接跨平台部署于不同机械臂本体。系统通过精细的接口设计保障了便携式采集设备的数据丰富度，结合多样化的真实世界人类演示数据训练，实现了从数据采集、策略学习到多平台部署的全链路标准化，显著降低了具身操作技能的获取门槛。

关键看点 ​

  • 相对轨迹表征：采用相对轨迹动作表示与推理延迟匹配机制，消除人机运动差异，实现策略硬件无关与跨平台部署
  • 手持数据采集：利用手持夹持器替代真机遥操作，低成本获取高信息密度数据，支持复杂双手动态操作示教
  • 零样本泛化能力：基于多样化人类演示训练，策略无需微调即可在新环境与新物体上执行精准长时序动态任务
  • 全栈开源生态：UMI硬件设计与软件系统完全开源，提供标准化的数据采集与策略学习工具链

工程与产业观察 ​

UMI确立了“手持采集+相对动作”的具身数据范式，将高质量操作数据获取成本降至消费级，解决了真机遥操作效率低与仿真数据域差距大的痛点。其硬件无关的策略接口为跨本体技能复用提供了工程基准，对构建通用操作基础模型的数据基础设施具有重要参考价值。

英文摘要 (Abstract) ​

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.

作者：Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

来源

本页事实对应的公开页面，以原文为准。

  1. arXiv 2402.10329：Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots访问 2026-10-23