外观
论文arXiv 2610.1128320 天前
Being-M0.7：基于万小时人类数据的潜空间世界动作模型
提出Being-M0.7潜空间世界动作模型，利用超1万小时混合模态人类数据预训练，通过三阶段迁移解决人形机器人演示稀缺难题。该模型在SIMPLE基准取得最高聚合成功率，并在Unitree G1实机移动操作任务中匹配最强基线性能。
宇树 G1本文由 AI 根据公开内容整理，可能有误，请以原文为准：Being-M0.7: A Latent World-Action Model for Humanoid Robots（arXiv 2610.11283）
核心内容
针对人形机器人移动操作学习中真机演示数据稀缺及人类视频-动作配对难的问题，研究团队发布Being-M0.7潜空间世界动作模型。该工作构建了包含纯视频、纯运动及配对流在内的超1万小时以人为中心的数据语料库，通过预训练、机器人中期训练与动作后训练三阶段流程，将人类视觉-运动先验有效迁移至机器人控制策略中。
技术架构上，模型通过联合预测未来潜空间视觉状态与运动来编码运动学结构；中期训练适配机器人视角与本体动力学；动作后训练阶段引入动作专家模块，利用门控交叉注意力机制融合冻结先验的视觉预测表征、当前图像与本体感知，生成可执行全身指令。实验表明，Being-M0.7在SIMPLE基准测试中达到最高聚合成功率，并在Unitree G1真机移动操作任务中性能对标最强基线。
关键看点
- 数据规模：构建超1万小时混合模态人类数据语料库，整合纯视频、纯运动及配对流以学习互补的视觉动力学与全身运动学结构
- 三阶段迁移：采用预训练、机器人中期训练及动作后训练流程，将粗粒度人类先验逐步适配至机器人视角、本体动力学及可执行命令
- 动作解码机制：动作专家模块通过门控交叉注意力融合冻结先验的视觉预测表征、实时图像与本体感知，实现预测上下文到全身指令的接地
- 实机验证：在SIMPLE基准取得最高聚合成功率，并在Unitree G1真机移动操作任务中匹配最强基线，验证了跨模态迁移的有效性
工程与产业观察
该工作验证了利用海量非配对人类视频与运动数据进行大规模预训练，再经结构化微调迁移至具身控制的技术可行性。其提出的潜空间联合预测与三阶段训练范式，为缓解人形机器人高质量操作数据瓶颈提供了重要工程参考，表明挖掘互联网规模人类数据是提升通用移动操作能力的有效路径。
英文摘要 (Abstract)
Humanoid loco-manipulation requires coordinated locomotion and manipulation informed by future scene evolution and whole-body motion, yet learning these capabilities is constrained by scarce robot demonstrations. Human video and motion datasets offer scalable supervision, but many contain only video or motion rather than paired video-motion data. Moreover, human motion does not directly specify executable robot actions. We present Being-M0.7, a latent world-action model that transfers visual-motion priors learned from mixed-modality human data to humanoid control through pre-training, robot mid-training, and action post-training. We curate a corpus from more than 10,000 hours of raw human-centric data, integrating video-only, motion-only, and paired video-motion streams to learn complementary visual dynamics and whole-body kinematic structure. Joint prediction of future latent visual states and motion encourages visual representations to encode future kinematics. Robot mid-training adapts this coarse-grained prior to robot viewpoints and body dynamics. During action post-training, an action expert combines visual predictive representations from the frozen, adapted prior with current images and proprioception through gated cross-attention, grounding predictive context in executable whole-body commands. Being-M0.7 achieves the highest aggregate success rate among the compared baselines on SIMPLE and matches the strongest baseline on real-world Unitree G1 loco-manipulation tasks.
作者：Junpeng Yue, Boyuan Li, Yuxuan Wang, Zepeng Wang, Yuhui Fu, Feiyang Xie, Yu Zhang, Jing Zhang, Xianqi Zhang, Weibo Li, Xiaofei Zheng, Yuming Fang, Jiangxing Wang, Zongqing Lu
来源
本页事实对应的公开页面，以原文为准。