# H2O框架实现单RGB相机人形机器人实时全身遥操作

> 原文链接：https://robotics.hellobike.com/papers/2024-03-07-2403-04436-01ce710b
> 频道：papers | 更新日期：2024-03-07 | 标签：auto, arxiv, cs.RO
> 核心摘要：提出基于强化学习的H2O框架，仅用单目RGB相机即可实现全尺寸人形机器人实时全身遥操作。通过Sim-to-Data流程构建大规模重定向运动数据集，训练出的策略可零样本迁移至真机，支持行走、后跳、踢腿等动态动作。

# H2O框架实现单RGB相机人形机器人实时全身遥操作

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation](https://arxiv.org/abs/2403.04436)（arXiv 2403.04436）

## 核心内容

arXiv论文提出Human to Humanoid（H2O）框架，首次实现基于学习的全尺寸人形机器人实时全身遥操作。该系统仅需单个RGB摄像头作为输入，无需穿戴式传感器或深度相机，显著降低硬件门槛。研究团队验证了包括行走、后跳、踢腿、转身、挥手、推物及拳击等多种高动态全身动作在真实场景下的稳定执行，标志着学习型人形遥操作从仿真迈向实用化的重要突破。

技术核心在于创新的Sim-to-Data数据生成管线：利用特权运动模仿器在仿真中筛选并过滤出物理可行的人体动作，构建大规模高质量重定向运动数据集。基于该数据集训练的鲁棒实时运动模仿策略，通过域随机化与动力学对齐实现Zero-shot Sim-to-Real迁移。系统端到端延迟满足实时控制需求，解决了传统优化方法计算慢、纯学习方法泛化差的难题，为低成本人形数据采集与远程操控提供新范式。

## 关键看点

- **单目视觉输入**：仅依赖单个RGB相机实现全身姿态估计与实时控制，摆脱对深度传感器或动捕设备的依赖
- **Sim-to-Data管线**：利用特权模仿器自动筛选仿真中物理可行的重定向动作，解决人体到人形映射的数据质量瓶颈
- **零样本真机迁移**：强化学习策略未经真机微调即可直接部署，成功复现后跳、踢腿等高动态全身动作
- **实时全身遥操作**：首个基于学习的方法实现全尺寸人形机器人低延迟全身控制，覆盖行走、交互与对抗性动作

## 工程与产业观察

H2O验证了单目RGB结合Sim-to-Data生成高质量训练数据的可行性，大幅降低人形机器人遥操作与数据采集的硬件成本。其Zero-shot迁移能力表明，精细化仿真数据筛选比单纯扩大数据规模更能提升真机性能，为具身智能低成本数据闭环与远程示教提供了可复现的工程路径。

## 英文摘要 (Abstract)

We present Human to Humanoid (H2O), a reinforcement learning (RL) based framework that enables real-time whole-body teleoperation of a full-sized humanoid robot with only an RGB camera. To create a large-scale retargeted motion dataset of human movements for humanoid robots, we propose a scalable "sim-to-data" process to filter and pick feasible motions using a privileged motion imitator. Afterwards, we train a robust real-time humanoid motion imitator in simulation using these refined motions and transfer it to the real humanoid robot in a zero-shot manner. We successfully achieve teleoperation of dynamic whole-body motions in real-world scenarios, including walking, back jumping, kicking, turning, waving, pushing, boxing, etc. To the best of our knowledge, this is the first demonstration to achieve learning-based real-time whole-body humanoid teleoperation.

作者：Tairan He, Zhengyi Luo, Wenli Xiao, Chong Zhang, Kris Kitani, Changliu Liu, Guanya Shi
:::

## 原始参考来源 (Sources)

- [arXiv 2403.04436：Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation](https://arxiv.org/abs/2403.04436)