Skip to content

新闻雷峰网8 天前

浙大彭思达:具身导航拒端到端,VLM+Agent架构解耦决策与执行 ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:浙大彭思达:从元宇宙到具身智能,一个三维视觉研究者的八年 | 世界模型50人(雷峰网)

核心内容 ​

浙江大学软件学院百人计划研究员彭思达团队于10月发布机器人导航系统SuperNav与ScaleNav,分别承担决策规划与运动执行功能。该研究基于其在三维视觉领域八年积累及Neural Body、4K4D等成果,针对当前VLM微调导致能力退化及小参数模型空间推理不足的问题,确立了通用多模态大模型加Agent的技术路线,并将研究成果应用于理想汽车自动驾驶仿真及机器人导航场景。

技术方案采用Agentic System架构解耦感知推理与底层控制:VLM负责高层规划与上下文理解,记忆构建依赖成熟SLAM工具而非纯图文表征;ScaleNav作为专用小模型承接高频运动控制,解决30B以上大模型云端部署通信延迟无法满足50Hz操作频率的工程瓶颈。研究强调动作轨迹因果性学习优于纯视觉输入,认为文本是高级推理最佳载体,视觉仅作为辅助模态挂载。

关键看点 ​

  • 分层导航架构:SuperNav负责全局决策与记忆管理,ScaleNav作为导航小脑执行点对点移动,规避端到端模型微调导致的基模能力退化问题
  • 高频控制约束:指出30B/100B大模型云端推理通信延迟约1秒,无法满足机器人操作所需的50Hz交互频率,必须将底层行动外包给专用小模型
  • 模态优先级重定义:主张高级推理规划依赖文本模态,动作智能核心在于轨迹因果性学习,视觉在具身智能中仅为外挂辅助而非核心主角
  • 记忆结构化方案:否定纯图文空间记忆方式,采用成熟SLAM工具构建结构化环境记忆,由VLM负责语义理解与检索,实现记忆构建与理解的分离

工程与产业观察 ​

该研究为具身智能系统架构提供了重要的工程纠偏思路:在算力与通信受限的实体机器人上,盲目追求端到端大模型并非最优解。通过VLM+Agent+专用控制模型的分层解耦,既保留了基座模型的通用推理能力,又满足了实时控制的物理约束。这对当前行业从“刷榜”转向“落地”具有参考价值,提示开发者应重视动作模态数据质量与系统级工程适配,而非单纯堆叠视觉大模型参数。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. 雷峰网:浙大彭思达:从元宇宙到具身智能,一个三维视觉研究者的八年 | 世界模型50人 ↗访问 2026-11-14