外观
论文arXiv 2603.091707 个月前
ZeroWBC框架利用人类第一视角视频实现宇树G1零遥操作全身交互
针对人形机器人全身遥操数据昂贵痛点，提出ZeroWBC免遥操框架。通过微调VLM将人类第一视角视频转为动作Token并重定向至宇树G1，配合交互导向跟踪策略，在无机器人示教下实现多样化场景感知全身交互控制。
宇树 G1本文由 AI 根据公开内容整理，可能有误，请以原文为准：ZeroWBC: Learning Natural Whole-Body Humanoid Interaction from Human Egocentric Data（arXiv 2603.09170）
核心内容
为解决人形机器人全身交互控制中遥操作数据采集成本高昂的问题，研究团队提出ZeroWBC免遥操作学习框架。该方法直接从人类第一视角（Egocentric）视频及其同步的全身运动与文本标注中学习，摆脱了对机器人专用遥操数据的依赖。实验在Unitree G1人形机器人上验证了该框架的有效性，证明其能在无机器人演示的情况下，实现多样化的场景感知全身交互行为，为具身智能数据获取提供了可扩展新范式。
技术上采用“生成-跟踪”两阶段架构：首先利用微调后的视觉语言模型（VLM），根据初始第一视角图像和语言指令生成未来人体全身运动Token，解码后重定向为机器人参考轨迹；随后由通用交互运动跟踪策略执行，并引入交互导向跟踪奖励函数，优先对齐全局根节点与关键部位轨迹，同时保持自然全身运动。该机制有效解决了静态场景下的全身交互控制难题，确保了从人类视频到机器人执行的语义一致性与物理可行性。
关键看点
- 免遥操数据源：直接利用人类第一视角视频及同步运动/文本标注训练，彻底免除昂贵的机器人全身遥操作数据采集环节
- VLM动作生成：微调视觉语言模型根据首帧图像与语言指令生成运动Token，解码并重定向为机器人连续参考轨迹
- 交互导向奖励：设计专用跟踪奖励函数，优先保障全局根节点与关键部位轨迹对齐，兼顾自然全身运动姿态
- G1实机验证：在Unitree G1上成功实现无机器人示教的多样化场景感知全身交互，验证了跨模态迁移可行性
工程与产业观察
ZeroWBC验证了利用海量人类第一视角视频替代稀缺机器人遥操数据的技术路径，显著降低具身交互技能获取门槛。其生成-跟踪解耦架构与交互导向奖励设计，为解决人形机器人长尾任务泛化与Sim2Real迁移提供了可复用的算法范式，对推动具身大模型落地具有关键工程参考价值。
英文摘要 (Abstract)
Achieving versatile and natural whole-body humanoid interaction control remains challenging due to the high cost of whole-body teleoperation data. We present ZeroWBC, a teleoperation-free framework that learns humanoid whole-body interaction from human egocentric videos paired with synchronized whole-body motion and text annotations. ZeroWBC adopts a generation-then-tracking formulation to tackle the static scene whole-body interaction control problem. Given an initial egocentric image and a language instruction, a fine-tuned Vision-Language Model generates future human whole-body motion tokens, which are decoded into continuous motions and retargeted to the humanoid. The resulting reference motions, together with root and key body-part trajectories, are then executed by a general interactive motion tracking policy. To improve interaction performance, we introduce an interaction-oriented tracking reward that prioritizes global root and key body-part trajectory alignment while preserving natural whole-body motion. Experiments on the Unitree G1 humanoid robot show that ZeroWBC enables diverse scene-aware behaviors without robot teleoperation demonstrations. These results suggest a scalable paradigm for learning natural humanoid whole-body interaction from human egocentric data.
作者：Haoran Yang, Jiacheng Bao, Yucheng Xin, Haoming Song, Yuyang Tian, Bin Zhao, Dong Wang, Xuelong Li
来源
本页事实对应的公开页面，以原文为准。