外观
新闻IEEE Spectrum Robotics11 天前
DeepMind视频生成仿真驱动Apollo 2连中7球验证Sim-to-Real
DeepMind利用Gemini 4 Argon将人类投篮视频转为MuJoCo仿真并迁移至Apptronik Apollo 2，实机连续命中7次投篮，验证了视觉大模型驱动的自动化仿真构建与策略迁移闭环。
Apollo 2本文由 AI 根据公开内容整理，可能有误，请以原文为准：Video Friday: When Two Robots Become One（IEEE Spectrum Robotics）
核心内容
DeepMind联合Apptronik发布具身智能最新成果，采用Gemini 4 Argon模型解析人类投篮视频，自动构建高保真MuJoCo仿真环境，并将习得的运动策略部署于Apollo 2人形机器人。在真实物理世界测试中，该机器人实现连续七次投篮命中的稳定表现，量化证明了从非结构化视频数据到实体机器人技能迁移的技术可行性，确立了视频生成仿真策略在Sim-to-Real流程中的工程价值。
该技术路径核心在于利用视觉基础模型替代传统手工3D建模与物理参数标定。Gemini 4 Argon从视频中提取物理参数与动作逻辑驱动MuJoCo引擎，生成的合成数据直接用于强化学习训练，构建了“视频输入-仿真生成-策略训练-实机部署”全链路。相比同期JSK实验室的双机耦合重组研究，DeepMind方案具备明确算法栈与实测指标，有效解决了传统仿真域差异痛点，为复杂操作任务提供了可复制的数据合成范式。
关键看点
- 视频转仿真：Gemini 4 Argon解析人类投篮视频自动生成MuJoCo环境，替代传统手工3D建模与物理参数标定流程
- 实机验证：Apollo 2在真实物理环境中连续命中7次投篮，量化证明视频生成仿真策略的Sim-to-Real迁移成功率
- 算法闭环：构建视频输入、仿真生成、策略训练到实机部署全链路，验证视觉大模型在具身操作数据合成中的有效性
工程与产业观察
该进展标志具身数据获取从人工采集向视频生成仿真转变。VLM自动构建MuJoCo环境大幅降低Sim-to-Real门槛；Apollo 2连续命中实绩表明，基于互联网视频的生成式仿真已具备支撑复杂操作落地的工程成熟度，是解决具身数据稀缺的关键路径。
来源
本页事实对应的公开页面，以原文为准。