论文arXiv 2611.1006112 天前
UniLatent框架实现跨具身零样本迁移,xArm至Franka仅需10条微调
本文由 AI 根据公开内容整理,可能有误,请以原文为准:UniLatent: Cross-Embodiment Transfer via Latent Observation Alignment(arXiv 2611.10061)
核心内容
针对机器人数据集采集成本高且难以跨本体复用的痛点,研究团队提出UniLatent跨具身迁移框架。该方法在共享潜空间中对齐源端与目标端视觉编码器,无需像素级图像翻译即可实现策略迁移。实验显示,在三类仿真任务及两种机械臂上,UniLatent零样本成功率最高达93%,平均超越最强像素翻译基线30个百分点以上。
技术层面,UniLatent利用仿真渲染成对源-目标观测数据,将源端视觉编码器对齐至冻结的目标端编码器。在真实世界xArm到Franka的迁移验证中,每个任务仅需10条目标演示进行微调,即可实现30次尝试中27次成功的 rollout 表现。目前项目代码、演示视频及配套数据集已在 GitHub 开源,为低成本跨本体策略复用提供新范式。
关键看点
- 潜空间对齐:在共享隐空间对齐源端与冻结目标端视觉编码器,规避高算力消耗的像素级图像翻译过程
- 仿真性能突破:跨三种仿真任务与两种机械臂测试,零样本成功率最高93%,均值超像素翻译基线30%
- 真机高效微调:完成xArm至Franka实机迁移,单任务仅需10条目标演示微调,30次rollout成功27次
- 开源资产完备:完整代码、演示视频及跨具身数据集已公开,支持社区快速复现与二次开发验证
工程与产业观察
该工作验证了潜空间对齐优于像素级翻译的跨具身迁移路径,大幅降低异质机器人策略复用门槛。10条演示的微调成本使存量数据向新本体迁移具备工程可行性,为解决具身智能数据孤岛问题提供了低算力依赖的实用解法,对多机型产线部署具有直接参考价值。
英文摘要 (Abstract)
Robot datasets are costly to collect and are usually tied to a specific embodiment, making it difficult to reuse demonstrations across robots with different geometry, appearance, and kinematics. We introduce UniLatent, a cross-embodiment transfer framework that reduces the embodiment-induced observation gap in a shared latent space. UniLatent renders paired source-target robot observations in simulation and aligns a source visual encoder to a frozen target encoder. A policy trained on encoded source demonstrations can then run directly on target observations, with no pixel-level image translation. Across three simulation tasks and two target robot arms, UniLatent reaches up to 93% zero-shot success, exceeding the strongest pixel-translation baseline by over 30 points on average. In real-world xArm-to-Franka transfer, fine-tuning with only 10 target demonstrations per task yields 27/30 successful rollouts. Code, videos and data are available at https://selina2023.github.io/unilatent/.
作者:Yufei Ding, Yi Du, Weiduo Yuan, Hao Jiang, Dylan Goetting, Lawrence Yunliang Chen, Daniel Seita, Yue Wang
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)