外观
论文arXiv 2505.028332025-05-05
TWIST系统实现人形机器人全身遥操作模仿控制
本文由 AI 根据公开内容整理，可能有误，请以原文为准：TWIST: Teleoperated Whole-Body Imitation System（arXiv 2505.02833）
核心内容
针对现有人形机器人遥操作系统难以实现全身协调控制的痛点，研究团队提出TWIST（Teleoperated Whole-Body Imitation System）全身模仿系统。该工作将人类动作捕捉数据重定向为机器人参考轨迹，构建了基于强化学习与行为克隆（RL+BC）的统一神经控制器。实验表明，引入特权未来运动帧与真实MoCap数据显著提升了跟踪精度，使单一人形机器人本体能够在一个网络下完成全身操作、足式操作、移动及表达性动作等复杂任务。
技术架构上，TWIST采用两阶段训练策略：首先利用人类MoCap数据生成大规模参考动作片段进行预训练，随后结合RL微调以适应物理约束并增强鲁棒性。控制器设计融合了行为克隆的模仿能力与强化学习的适应性，通过输入未来多帧特权信息解决时序延迟与动态平衡问题。该系统验证了端到端全身控制在真实硬件上的可行性，为人形机器人通用具身智能提供了从数据采集到策略部署的完整技术路径，解决了多任务切换时的控制割裂难题。
关键看点
- RL+BC混合策略：结合强化学习与行为克隆构建统一控制器，在单一神经网络内同时实现高保真动作模仿与物理环境自适应鲁棒控制
- 特权未来帧机制：在训练阶段引入未来多帧运动信息作为特权输入，有效补偿感知延迟并提升全身动态跟踪精度与稳定性
- 全模态技能统一：打破 locomotion 与 manipulation 分离范式，支持全身操作、足式操作、移动及表达性运动在同一策略下无缝切换
- MoCap数据重定向：建立从人体动捕到机器人本体的标准化映射流程，为全身模仿学习提供高质量、低成本的专家演示数据源
工程与产业观察
TWIST验证了RL+BC混合范式在人形机器人全身控制中的有效性，其引入的未来帧特权信息与MoCap重定向流程为具身大模型训练提供了关键工程参考。该方案解决了多任务控制器割裂问题，表明高质量人类运动数据与统一网络架构是迈向通用人形机器人操作能力的必经之路，对遥操作数据采集与Sim-to-Real迁移具有直接指导意义。
英文摘要 (Abstract)
Teleoperating humanoid robots in a whole-body manner marks a fundamental step toward developing general-purpose robotic intelligence, with human motion providing an ideal interface for controlling all degrees of freedom. Yet, most current humanoid teleoperation systems fall short of enabling coordinated whole-body behavior, typically limiting themselves to isolated locomotion or manipulation tasks. We present the Teleoperated Whole-Body Imitation System (TWIST), a system for humanoid teleoperation through whole-body motion imitation. We first generate reference motion clips by retargeting human motion capture data to the humanoid robot. We then develop a robust, adaptive, and responsive whole-body controller using a combination of reinforcement learning and behavior cloning (RL+BC). Through systematic analysis, we demonstrate how incorporating privileged future motion frames and real-world motion capture (MoCap) data improves tracking accuracy. TWIST enables real-world humanoid robots to achieve unprecedented, versatile, and coordinated whole-body motor skills--spanning whole-body manipulation, legged manipulation, locomotion, and expressive movement--using a single unified neural network controller. Our project website: https://humanoid-teleop.github.io
作者：Yanjie Ze, Zixuan Chen, João Pedro Araújo, Zi-ang Cao, Xue Bin Peng, Jiajun Wu, C. Karen Liu
来源
本页事实对应的公开页面，以原文为准。