Skip to content

新闻雷峰网9 天前

浙大SpaceCast-Bench评测:VLM预测性空间推理最高准确率仅58% ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:VLM 在预测性空间推理上的缺口还有多大?21 个模型,最高准确率仅 58.0%(雷峰网)

核心内容 ​

浙江大学庄越挺团队提出SpaceCast-Bench基准,专门评估视觉语言模型(VLM)的预测性空间推理能力,即在不提供变换后画面的情况下,根据空间干预推断新状态。该基准包含182个真实室内场景、3862道问题及16类任务,覆盖静态感知、局部预测与全局预测三个层级。评测显示,21个主流VLM中最高准确率仅为58.0%,较人类87.2%的水平差距显著;6个空间专项模型总体准确率介于25.7%至29.1%之间,不仅低于闭源与通用开源模型,甚至接近25.9%的随机基线。

实验揭示了空间智能的关键瓶颈与优化路径。空间专项模型在附着关系推理上表现极差(如SenseNova-SI-1.2仅13.4%),且Chain-of-Thought提示未能带来稳定提升。相比之下,输入显式3D信息效果显著:文本形式3D metadata使闭源模型平均准确率提升30.7个百分点,而依赖Qwen-Image-Edit等生成的“想象”画面因物体缺失或形变导致80.3%的错误关联。此外,多视角整合测试表明,缺乏桥接视角会导致世界参考系方向判断准确率从39.9%降至34.6%,证实了连续视觉观测对构建完整空间表征的必要性。

关键看点 ​

  • 基准规模:SpaceCast-Bench涵盖182个真实室内场景与3862道问题,测试observe–transform–infer三阶段推理,填补了动态空间预测评测空白
  • 模型短板:6个空间专项模型在全局预测与附着关系任务上失效,准确率跌至13.4%~16.1%,暴露现有训练未有效建立全局空间表示更新能力
  • 增强策略:显式3D metadata使闭源模型准确率提升30.7个百分点,优于生成式证据;后者因透视不一致与物体形变引入额外噪声,错误归因率超80%
  • 视角依赖:移除连接分散区域的桥接视角后,世界参考系方向判断准确率下降5.3个百分点,验证多视角连续性是VLM整合空间信息的关键约束

工程与产业观察 ​

该研究揭示了具身智能从静态感知迈向动态规划的算法鸿沟。当前VLM缺乏物理因果与世界模型支撑,仅靠2D像素难以完成操作后的状态预测。工程落地应优先引入结构化3D先验而非依赖视频生成幻觉,同时需在训练数据中强化物体联动与全局变换样本,以解决空间专项模型在真实交互中的推理坍塌问题。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. 雷峰网:VLM 在预测性空间推理上的缺口还有多大?21 个模型,最高准确率仅 58.0% ↗访问 2026-11-13