外观
新闻MarkTechPost(RSS)(via AIHOT)今天
DeepMind发布Genie 4世界模型:Gemini 3.8 Flash闭环规划驱动具身仿真
本文由 AI 根据公开内容整理,可能有误,请以原文为准:Meet Google DeepMind’s Genie 4: Real-Time World Model With Native Audio(MarkTechPost(RSS)(via AIHOT))
核心内容
Google DeepMind发布Genie 4研究预览版,这是首个原生生成环境音、音乐及角色对话的实时交互式世界模型。该系统支持文本与图像提示生成可探索环境,并通过键盘或自然语言实时操控事件。核心升级在于架构层面引入Gemini模型作为仿真循环内的规划器,相比Genie 3,其场景一致性保持时长从1分钟提升至2分钟,为智能体训练提供了更稳定的长时序仿真基座。
技术上采用混合世界模型架构:Gemini Omni锚定视觉外观,Gemini 3.8 Flash在Loop中执行解释提示、拆解目标、校验帧及重规划四步闭环。在机器人验证环节,系统接收文本指令并成功模拟了Apptronik Apollo人形机器人下棋任务。目前仅对可信测试者开放,虽存在长会话物体漂移问题,但已实现空气动力学、碰撞物理及人物动态反应的原生模拟,所有输出均嵌入SynthID水印。
关键看点
- 闭环规划架构:Gemini 3.8 Flash嵌入仿真循环,实时执行目标拆解、帧级校验与动态重规划,解决纯生成模型缺乏逻辑一致性问题
- 具身任务验证:成功模拟Apptronik Apollo人形机器人执行下棋任务,验证了文本指令驱动世界模型进行机器人策略预演的可行性
- 原生多模态生成:首次实现视觉与环境音、对话的同步原生生成,支持基于文本提示的实时天气变更、对象添加及镜头控制
- 性能与局限:场景一致性达2分钟(Genie 3两倍),但仍受限于数分钟交互时长,复杂编辑后存在物体漂移与文本渲染不准问题
工程与产业观察
Genie 4将LLM规划器嵌入世界模型仿真回路,标志着具身智能训练环境从“视频生成”向“可推理仿真”演进。其对Apollo机器人的任务模拟验证了该架构在Sim-to-Real链路中的潜力,尽管当前存在长时序漂移,但为构建高保真、语义可控的通用机器人大脑训练场提供了关键范式参考。
线索来源:AIHOT
来源
本页事实对应的公开页面,以原文为准。