# Mobile-TeleVision：CVAE运动先验解耦人形机器人全身控制

> 原文链接：https://robotics.hellobike.com/papers/2024-12-10-2412-07773-14212530
> 频道：papers | 更新日期：2024-12-10 | 标签：auto, arxiv, cs.RO
> 核心摘要：提出PMP框架解耦人形机器人上下肢控制，利用CVAE编码上肢运动先验作为RL下肢策略条件输入。实验证实该方案在保持稳健行走的同时，高精度操作性能显著优于传统端到端RL全身控制，支持远程遥操作探索与作业。

# Mobile-TeleVision：CVAE运动先验解耦人形机器人全身控制

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Mobile-TeleVision: Predictive Motion Priors for Humanoid Whole-Body Control](https://arxiv.org/abs/2412.07773)（arXiv 2412.07773）

## 核心内容

针对人形机器人全身控制中高精度操作与稳健 locomotion 难以兼顾的痛点，arXiv 论文提出 Mobile-TeleVision 框架。该方法摒弃单一 RL 策略，转而采用解耦架构：上肢通过逆运动学（IK）与动作重定向实现精准操控，下肢由 RL 负责稳健移动。核心创新在于引入预测运动先验（PMP），确保双任务并行时的系统稳定性，并验证了其在远程遥操作场景下的有效性。

技术上，PMP 使用条件变分自编码器（CVAE）对上肢高自由度运动进行低维表征学习，并将此特征作为条件输入注入下肢 RL 策略训练中，使步态生成能动态适应上肢姿态变化。对比测试显示，基于 CVAE 特征的解耦控制在精细操作指标上显著优于纯 RL 全身控制方案。该架构允许操作员远程驱动机器人在非结构化环境中边走边做，解决了高 DoF 手臂在动态基座下的控制失稳难题。

## 关键看点

- **解耦控制架构**：上肢采用IK与动作重定向保证精度，下肢RL专注抗扰 locomotion，规避端到端策略在高DoF操作上的收敛难题
- **PMP运动先验**：利用CVAE提取上肢运动潜在表征作为RL条件输入，使下肢步态自适应上肢动态负载与重心偏移
- **性能对比验证**：实验表明引入CVAE特征的解耦方案在精细操作成功率与稳定性上显著优于传统RL全身控制策略
- **遥操作落地**：支持操作员远程控制人形机器人在复杂环境中同步执行行走探索与多样化操作任务

## 工程与产业观察

该研究为人形机器人全身控制提供了工程化折中范式：用确定性IK保障操作精度，用生成式模型桥接上下肢耦合。对于缺乏海量高质量全身演示数据的团队，这种“解耦+先验”路线比纯端到端RL更具落地可行性，尤其适合需快速验证遥操作能力的研发阶段。

## 英文摘要 (Abstract)

Humanoid robots require both robust lower-body locomotion and precise upper-body manipulation. While recent Reinforcement Learning (RL) approaches provide whole-body loco-manipulation policies, they lack precise manipulation with high DoF arms. In this paper, we propose decoupling upper-body control from locomotion, using inverse kinematics (IK) and motion retargeting for precise manipulation, while RL focuses on robust lower-body locomotion. We introduce PMP (Predictive Motion Priors), trained with Conditional Variational Autoencoder (CVAE) to effectively represent upper-body motions. The locomotion policy is trained conditioned on this upper-body motion representation, ensuring that the system remains robust with both manipulation and locomotion. We show that CVAE features are crucial for stability and robustness, and significantly outperforms RL-based whole-body control in precise manipulation. With precise upper-body motion and robust lower-body locomotion control, operators can remotely control the humanoid to walk around and explore different environments, while performing diverse manipulation tasks.

作者：Chenhao Lu, Xuxin Cheng, Jialong Li, Shiqi Yang, Mazeyu Ji, Chengjing Yuan, Ge Yang, Sha Yi, Xiaolong Wang
:::

## 原始参考来源 (Sources)

- [arXiv 2412.07773：Mobile-TeleVision: Predictive Motion Priors for Humanoid Whole-Body Control](https://arxiv.org/abs/2412.07773)