外观
论文arXiv 2605.034525 个月前
BifrostUMI：无机器人采集框架实现人形全身操作技能迁移
本文由 AI 根据公开内容整理，可能有误，请以原文为准：BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation（arXiv 2605.03452）
核心内容
针对人形机器人全身操作数据获取依赖遥操作、效率低且受硬件限制的痛点，研究团队提出BifrostUMI便携式无机器人数据采集框架。该方法 inspired by UMI，旨在解耦数据采集与实体机器人绑定，降低高质量全身行为示范数据的获取门槛。实验在5个真实世界场景中验证了该框架的有效性，证明其采集的演示数据可直接用于训练可迁移的人形机器人全身操作技能，显著提升了数据收集效率与泛化能力。
技术架构上，BifrostUMI采用轻量级VR设备配合UMI风格夹爪，同步采集稀疏人体关键点轨迹、腕部第一视角观测及夹爪动作。系统训练一个高层策略网络预测未来关键点序列，将其作为中间表征重定向（Retargeting）为机器人原生的全身运动参考轨迹，最终由全身控制器执行。该流程实现了从人类自然演示到机器人高维全身控制的端到端映射，规避了传统遥操作中复杂的逆运动学求解与实时反馈延迟问题。
关键看点
- 无机器人采集：基于轻量VR与UMI夹爪构建便携框架，摆脱对实体人形机器人硬件及专业遥操作员的依赖
- 多模态数据流：同步捕获稀疏人体关键点轨迹、腕部视角图像及夹爪动作，支撑全身协调行为的高保真记录
- 策略重定向机制：训练高层策略预测未来关键点并转化为机器人原生全身参考轨迹，由底层全身控制器执行
- 实机迁移验证：在5个真实场景完成测试，证实无机器人采集数据能有效训练人形机器人全身操作技能
工程与产业观察
该工作为人形机器人具身智能提供了低成本数据飞轮范式。通过将采集端与执行端解耦，大幅降低了全身操作数据的边际成本。其“人类演示-关键点预测-全身重定向”的技术链路，解决了Sim2Real之外Human2Robot的数据瓶颈，对加速人形机器人通用技能学习具有重要工程参考价值。
英文摘要 (Abstract)
High-quality demonstration data are essential for humanoid robot skill learning, especially for whole-body behaviors that require coordinated perception, locomotion, and manipulation. Existing data-collection methods largely rely on robot teleoperation, which is constrained by hardware accessibility, operator expertise, and limited efficiency. Inspired by the Universal Manipulation Interface (UMI), we propose BifrostUMI, a portable and robot-free framework for humanoid whole-body data collection. BifrostUMI uses lightweight VR devices and UMI-inspired grippers to collect sparse human keypoint trajectories, wrist-view observations, and gripper actions. These demonstrations train a high-level policy to predict future keypoints, which are retargeted to robot-native whole-body references and executed by a whole-body controller. Experiments in five real-world scenarios demonstrate the effectiveness of the proposed framework and validate the collected demonstrations for transferable humanoid whole-body skill learning.
作者：Hongwu Wang, Chenhao Yu, Youhao Hu, Jiachen Zhang, Yuanyuan Li, Shaqi Luo
来源
本页事实对应的公开页面，以原文为准。