外观
论文arXiv 2606.272394 个月前
HumanoidUMI：无机器人采集框架实现人形全身操作技能迁移
本文由 AI 根据公开内容整理，可能有误，请以原文为准：HumanoidUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation（arXiv 2606.27239）
核心内容
针对人形机器人全身操作数据获取依赖遥操作、效率低且硬件门槛高的问题，研究团队提出HumanoidUMI便携式无机器人数据采集框架。该方案受通用操作接口（UMI）启发，旨在解耦高质量演示数据收集与实体机器人硬件，降低具身智能训练数据获取成本，并在5个真实世界场景中验证了其在可迁移全身技能学习方面的有效性。
系统采用轻量级VR设备与UMI风格夹爪，同步采集稀疏人体关键点轨迹、腕部第一视角观测及夹爪动作。算法层面训练高层策略预测未来关键点，将其重定向为机器人原生全身参考轨迹，并由全身控制器执行。该架构实现了从人类自然演示到机器人底层控制的端到端映射，解决了传统方法中感知、运动与操作协同的数据瓶颈。
关键看点
- 无机器人采集：基于轻量VR与UMI夹爪构建便携框架，摆脱对实体人形机器人遥操作的依赖，大幅提升数据采集效率与可扩展性。
- 多模态数据流：同步记录稀疏人体关键点轨迹、腕部视角图像及夹爪动作，为全身协调操作提供包含视觉与本体感觉的完整示范信息。
- 策略重定向机制：训练高层策略预测未来关键点并转化为机器人原生全身参考信号，经由全身控制器实现从人类意图到机器执行的无缝衔接。
- 实机迁移验证：在5个真实物理场景中完成测试，证实该框架采集的数据能有效训练人形机器人全身操作技能，具备跨任务泛化能力。
工程与产业观察
该工作为人形机器人提供了低成本、高通量的全身操作数据范式，将数据采集从昂贵的机器人遥操作解放至消费级VR设备。其“人类演示-关键点预测-全身控制”的重定向链路，为解决具身大模型训练中高质量全身协同数据稀缺问题提供了可复现的工程路径，加速了Sim-to-Real之外的Human-to-Robot数据闭环构建。
英文摘要 (Abstract)
High-quality demonstration data are essential for humanoid robot skill learning, especially for whole-body behaviors that require coordinated perception, locomotion, and manipulation. Existing data-collection methods largely rely on robot teleoperation, which is constrained by hardware accessibility, operator expertise, and limited efficiency. Inspired by the Universal Manipulation Interface (UMI), we propose HumanoidUMI, a portable and robot-free framework for humanoid whole-body data collection. HumanoidUMI uses lightweight VR devices and UMI-inspired grippers to collect sparse human keypoint trajectories, wrist-view observations, and gripper actions. These demonstrations train a high-level policy to predict future keypoints, which are retargeted to robot-native whole-body references and executed by a whole-body controller. Experiments in five real-world scenarios demonstrate the effectiveness of the proposed framework and validate the collected demonstrations for transferable humanoid whole-body skill learning.
作者：Hongwu Wang, Chenhao Yu, Youhao Hu, Jiachen Zhang, Yuanyuan Li, Shaqi Luo
来源
本页事实对应的公开页面，以原文为准。