# OmniH2O：基于运动学重定向的人形机器人全身遥操作与自主策略

> 原文链接：https://robotics.hellobike.com/papers/2024-06-13-2406-08858-39430952
> 频道：papers | 更新日期：2024-06-13 | 标签：auto, arxiv, cs.RO
> 核心摘要：提出以运动学位姿为通用接口的人形机器人控制系统，支持VR、语音及RGB多模态输入。构建Sim-to-Real流水线并开源含6类任务的OmniH2O-6数据集，验证了从遥操作演示到全自主执行的技能迁移能力。

# OmniH2O：基于运动学重定向的人形机器人全身遥操作与自主策略

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning](https://arxiv.org/abs/2406.08858)（arXiv 2406.08858）

## 核心内容

OmniH2O系统确立了以人体运动学位姿作为人形机器人通用控制接口的技术范式，支持通过VR头显实时遥操、自然语言指令及单目RGB相机等多种方式对带灵巧手的全尺寸人形机器人进行全身控制。该系统不仅实现了体育运动、物体搬运及人机交互等复杂任务的实时遥操作，还具备通过学习遥操数据或集成GPT-4等大模型实现全自主执行的能力，解决了异构控制信号统一映射的工程难题。

技术层面采用基于强化学习的Sim-to-Real迁移管线，通过对大规模人类运动数据集进行重定向与增强训练特权教师策略，再利用稀疏传感器输入模仿学习以获得可部署策略，并结合特定奖励函数设计提升鲁棒性。团队同步发布了首个包含6种日常任务的人形全身控制数据集OmniH2O-6，实证了利用该数据集进行遥操作驱动的技能学习有效性，为具身智能提供了标准化的数据基准与算法验证平台。

## 关键看点

- **通用控制接口**：以运动学位姿为核心抽象层，统一VR、语音及RGB视觉输入，实现跨模态全身控制
- **Sim-to-Real管线**：采用特权教师策略模仿学习与稀疏传感输入，结合运动重定向解决实机部署难题
- **开源数据资产**：发布OmniH2O-6数据集涵盖6类日常任务，填补人形机器人全身遥操作训练数据空白
- **自主能力扩展**：支持从遥操演示中学习技能或直接对接GPT-4等前沿模型，实现任务级全自主执行

## 工程与产业观察

该工作将人形机器人控制抽象为通用的运动学接口，有效解耦了上层意图理解与底层运动执行。开源的OmniH2O-6数据集与Sim-to-Real范式为行业提供了从遥操作数据积累到自主策略生成的标准化路径，对降低具身数据采集成本及加速泛化技能研发具有重要工程参考价值。

## 英文摘要 (Abstract)

We present OmniH2O (Omni Human-to-Humanoid), a learning-based system for whole-body humanoid teleoperation and autonomy. Using kinematic pose as a universal control interface, OmniH2O enables various ways for a human to control a full-sized humanoid with dexterous hands, including using real-time teleoperation through VR headset, verbal instruction, and RGB camera. OmniH2O also enables full autonomy by learning from teleoperated demonstrations or integrating with frontier models such as GPT-4. OmniH2O demonstrates versatility and dexterity in various real-world whole-body tasks through teleoperation or autonomy, such as playing multiple sports, moving and manipulating objects, and interacting with humans. We develop an RL-based sim-to-real pipeline, which involves large-scale retargeting and augmentation of human motion datasets, learning a real-world deployable policy with sparse sensor input by imitating a privileged teacher policy, and reward designs to enhance robustness and stability. We release the first humanoid whole-body control dataset, OmniH2O-6, containing six everyday tasks, and demonstrate humanoid whole-body skill learning from teleoperated datasets.

作者：Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, Guanya Shi
:::

## 原始参考来源 (Sources)

- [arXiv 2406.08858：OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning](https://arxiv.org/abs/2406.08858)