外观
论文HF Daily Papers · arXiv 2610.310666 天前
Dual Exam评测揭示多模态智能体与世界模型耦合训练失效
本文由 AI 根据公开内容整理，可能有误，请以原文为准：Dual Exam: Controlled Evaluation of Multimodal Agents and World Models（HF Daily Papers · arXiv 2610.31066）
核心内容
针对世界模型与多模态智能体协同演进缺乏独立验证的问题，研究发布Dual Exam评测框架。该框架涵盖物理、数字、社会及科学四大领域，Agent赛道包含15个报告类别共1088项测试，World Model赛道覆盖8个场景400个案例。结果显示GPT-6 Astra在Agent指数中以31.3分领跑，GPT-Image-2在世界模型综合评分中以21.7分居首，确立了当前单模态组件的性能坐标。
尽管单体指标优异，但在150例耦合配对先导测试中，系统任务成功率记录为零，暴露出状态保持失败与性能不均等核心缺陷。这表明现有高分组件在固定环境响应或动作干预下，仍无法维持任务相关状态的有效传递。研究强调当前评测分数不可直接跨任务比较，且组件级诊断显示其预测耦合成功或持续互惠学习的能力尚未建立，需重新审视联合训练范式。
关键看点
- 评测架构：Dual Exam分离评估智能体与世界模型，Agent赛道含1088项测试，WM赛道覆盖8场景400案例
- SOTA基准：GPT-6 Astra以31.3分领跑Agent指数，GPT-Image-2以21.7分居世界模型综合评分榜首
- 耦合失效：150例联合测试任务成功率为零，揭示组件高分无法转化为系统级互惠学习与状态保持能力
- 诊断价值：证实独立高分不等于耦合效能，为具身智能从单体优化转向系统级状态一致性验证提供依据
工程与产业观察
该研究为具身智能研发敲响警钟：单纯追求世界模型生成质量或智能体决策分数的“刷榜”模式，在真实闭环交互中可能完全失效。工程落地应优先构建组件级耦合诊断协议，将评估重心从静态指标转向动态状态保持与互惠学习能力验证，避免在无效的联合训练上浪费算力资源。
英文摘要 (Abstract)
World Models (WMs) can support Multimodal Agents (MAs) through simulated experience, while Agent trajectories can inform World Model refinement. Evaluating this interaction requires separate evidence about action selection and state evolution. We introduce Dual Exam, which tests Agents under fixed environment response mechanisms and World Models under fixed action interventions across physical, digital, social, and scientific domains. The Agent track compares 10 configurations on 1,088 items in 15 reporting categories. The World Model track contains 400 cases across eight scenarios; 15 configurations have full coverage and one covers six scenarios. GPT 6 Astra leads the case-weighted Agent Index at 31.3, and GPT-Image-2 leads the full-coverage WM Overall at 21.7. These scores use different tasks and metrics and are not directly comparable. A 150-case pilot of one coupled pairing records zero task successes and motivates component-level diagnosis. Results reveal uneven task performance and failures to preserve task-relevant state. Their value for predicting coupled success or sustained reciprocal learning remains to be established.
Hugging Face Daily Papers 热度：13 upvotes 作者：Zhefan Rao, Meng Chu, Xuan Zhang, Jingfan Chen, Guohao Cai, Runyi Li, Shiyi Du, Ning Lu, Xu Huang, Zhixuan Chen, Feng Nie, Harold Haodong Chen, Hanwen Wang, Wen-Jie Shu, Yajing Bai, Xianfeng Wu, Xuanh…
来源
本页事实对应的公开页面，以原文为准。