Skip to content

论文arXiv 2611.1322911 天前

世界模型适配器优化主动感知NBV,实测重建捕获量减少60% ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:Incorporating World Models in Decision Making for Next Best View Selection in Active Sensing(arXiv 2611.13229)

核心内容 ​

针对机器人3D重建中预训练世界模型预测与真实传感器读数不匹配的问题,研究团队提出一种部署适配方法论用于下一最佳视角(NBV)选择。该方法保持预训练预测器固定,仅利用有限本地校准数据学习传感器返回适配器,以估计预测表面的测量丢失概率。在搭载结构光传感器的真机实验中,适配后的NBV策略相比标称选择方法,在实现更高实测表面覆盖率的同时,将物理捕获次数减少了60%,并成功恢复了标称方法反复尝试但无法测量的表面区域。

技术核心在于解耦通用预测能力与本地传感特性:预训练世界模型提供几何先验,而轻量级适配器专门建模当前工况下的传感器失效模式(如反光、遮挡导致的深度缺失)。系统将适配器输出的置信度图融入NBV决策函数,使视点规划主动避开预测可靠但实测易失败的区域,转而探索能填补实测空洞的视角。这种范式验证了在数据稀缺环境下,无需微调大模型即可通过外挂适配层将通用世界模型安全迁移至特定硬件平台,显著提升了主动感知系统的鲁棒性与采集效率。

关键看点 ​

  • 部署适配机制:冻结预训练世界模型,仅用少量本地校准数据训练传感器返回适配器,估计预测表面的测量dropout概率以修正NBV决策。
  • 采集效率提升:真机结构光实验显示,适配方法比标称NBV选择减少60%物理捕获次数,同时获得更高的实测表面覆盖率。
  • 失效区域恢复:适配器有效识别并规避了标称方法反复 targeting 但无法获取有效深度数据的区域,解决了特定工况下的感知盲区问题。
  • 低资源迁移范式:验证了在数据稀缺场景下,通过外挂适配层复用预训练预测模型的可行性,避免了针对新传感器重新训练的高昂成本。

工程与产业观察 ​

该工作为具身智能体在异构传感器环境下的快速部署提供了工程范式。通过解耦通用世界模型与本地传感特性,算法工程师可在不重训大模型前提下,利用极少标定数据适配新硬件,显著降低主动感知系统的冷启动成本。这对多机型混用、传感器频繁更换的工业检测与移动测绘场景具有直接参考价值,提示行业应重视“模型-传感器”接口层的标准化设计。

英文摘要 (Abstract) ​

Efficient robotic 3D reconstruction requires selecting views that contribute new surface measurements with few physical captures. Pretrained world models can guide this choice, but a predicted surface may not produce valid depth measurements under the operating conditions of the deployed sensor. We present a deployment adaptation methodology for next-best-view selection that learns a sensor-return adapter from limited local calibration data while keeping the pretrained predictor fixed. The adapter estimates measurement dropout over each predicted surface, allowing the selection method to favor views likely to fill gaps in the measured reconstruction. In a real-robot experiment with a structured-light sensor, the adapted method achieves higher measured surface coverage with 60% fewer captures than nominal selection. The adapted method recovers a surface region that the nominal method repeatedly targets but fails to measure. These results suggest that robots can reuse pretrained predictive models while adapting their decisions to local operating conditions in data-scarce environments.

作者:Nikita Sarawgi, Omey M. Manyar, Satyandra K. Gupta

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. arXiv 2611.13229:Incorporating World Models in Decision Making for Next Best View Selection in Active Sensing ↗访问 2026-11-11