外观
论文arXiv 2403.044362024-03-07
H2O框架实现单RGB相机人形机器人实时全身遥操作
本文由 AI 根据公开内容整理，可能有误，请以原文为准：Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation（arXiv 2403.04436）
核心内容
arXiv论文提出Human to Humanoid（H2O）框架，首次实现基于学习的全尺寸人形机器人实时全身遥操作。该系统仅需单个RGB摄像头作为输入，无需穿戴式传感器或深度相机，显著降低硬件门槛。研究团队验证了包括行走、后跳、踢腿、转身、挥手、推物及拳击等多种高动态全身动作在真实场景下的稳定执行，标志着学习型人形遥操作从仿真迈向实用化的重要突破。
技术核心在于创新的Sim-to-Data数据生成管线：利用特权运动模仿器在仿真中筛选并过滤出物理可行的人体动作，构建大规模高质量重定向运动数据集。基于该数据集训练的鲁棒实时运动模仿策略，通过域随机化与动力学对齐实现Zero-shot Sim-to-Real迁移。系统端到端延迟满足实时控制需求，解决了传统优化方法计算慢、纯学习方法泛化差的难题，为低成本人形数据采集与远程操控提供新范式。
关键看点
- 单目视觉输入：仅依赖单个RGB相机实现全身姿态估计与实时控制，摆脱对深度传感器或动捕设备的依赖
- Sim-to-Data管线：利用特权模仿器自动筛选仿真中物理可行的重定向动作，解决人体到人形映射的数据质量瓶颈
- 零样本真机迁移：强化学习策略未经真机微调即可直接部署，成功复现后跳、踢腿等高动态全身动作
- 实时全身遥操作：首个基于学习的方法实现全尺寸人形机器人低延迟全身控制，覆盖行走、交互与对抗性动作
工程与产业观察
H2O验证了单目RGB结合Sim-to-Data生成高质量训练数据的可行性，大幅降低人形机器人遥操作与数据采集的硬件成本。其Zero-shot迁移能力表明，精细化仿真数据筛选比单纯扩大数据规模更能提升真机性能，为具身智能低成本数据闭环与远程示教提供了可复现的工程路径。
英文摘要 (Abstract)
We present Human to Humanoid (H2O), a reinforcement learning (RL) based framework that enables real-time whole-body teleoperation of a full-sized humanoid robot with only an RGB camera. To create a large-scale retargeted motion dataset of human movements for humanoid robots, we propose a scalable "sim-to-data" process to filter and pick feasible motions using a privileged motion imitator. Afterwards, we train a robust real-time humanoid motion imitator in simulation using these refined motions and transfer it to the real humanoid robot in a zero-shot manner. We successfully achieve teleoperation of dynamic whole-body motions in real-world scenarios, including walking, back jumping, kicking, turning, waving, pushing, boxing, etc. To the best of our knowledge, this is the first demonstration to achieve learning-based real-time whole-body humanoid teleoperation.
作者：Tairan He, Zhengyi Luo, Wenli Xiao, Chong Zhang, Kris Kitani, Changliu Liu, Guanya Shi
来源
本页事实对应的公开页面，以原文为准。