新闻智东西4 天前
蚂蚁开源双向世界模型Duo v1:0.7秒决策实现具身交互
本文由 AI 根据公开内容整理,可能有误,请以原文为准:这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!(智东西)
核心内容
蚂蚁技术研究院联合西湖心辰发布并开源双向世界模型Duo v1,将智能主体内化为世界模型的一部分。该模型支持虚拟主体持续接收音视频输入并自主决定交互时机,在30组真实交互的人类评估中总通过率达93.3%。其中语言遵循性、语音可懂度和视觉身份稳定性三项指标均为100%,内容响应度为73.3%。目前技术报告、训练代码及模型权重已在GitHub、ModelScope和Hugging Face全量开放。
Duo v1架构包含Intent(意图)与Realization(实现)双模块,以约0.7秒为时间块进行因果对齐推理。Intent模块基于隐状态传递决策,避免文本解码延迟;Realization模块利用注意力掩码确保流式生成的因果正确性。训练采用三阶段策略,通过动作感知重平衡解决过度等待问题,并利用Dual Rollout分布匹配蒸馏将生成压缩至4步。针对长程生成误差累积,模型固定首帧作为质量参考,使60秒连续生成测试中的亮度值稳定在99左右,有效缓解画面退化。
关键看点
- 双模耦合架构:Intent与Realization模块以0.7秒时间块协同,通过隐状态传递实现原生交互理性与视听同步生成
- 三阶段训练策略:采用动作感知重平衡与Dual Rollout蒸馏,解决过度等待偏差并将推理压缩至4步完成
- 长程生成优化:固定首帧作为质量锚点,60秒连续生成亮度值维持在99,显著优于基线方法的69.6
- 开源资产完备:已开放技术报告、训练代码及模型权重,语言遵循性与视觉身份稳定性实测达100%
工程与产业观察
Duo v1将交互决策与视听生成统一于世界模型框架,验证了智能体在仿真环境中自主感知与响应的可行性。其开源的因果对齐机制与分布匹配蒸馏方案,为具身智能Sim-to-Real迁移提供了高保真交互基座,但73.3%的内容响应度表明复杂意图理解仍是当前技术瓶颈。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)
- 智东西:这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝! ↗访问 2026-11-19