新闻雷峰网8 天前
浙大彭思达:具身导航拒端到端,VLM+Agent架构解耦决策与执行
本文由 AI 根据公开内容整理,可能有误,请以原文为准:浙大彭思达:从元宇宙到具身智能,一个三维视觉研究者的八年 | 世界模型50人(雷峰网)
核心内容
浙江大学软件学院百人计划研究员彭思达团队于10月发布机器人导航系统SuperNav与ScaleNav,分别承担决策规划与运动执行功能。该研究基于其在三维视觉领域八年积累及Neural Body、4K4D等成果,针对当前VLM微调导致能力退化及小参数模型空间推理不足的问题,确立了通用多模态大模型加Agent的技术路线,并将研究成果应用于理想汽车自动驾驶仿真及机器人导航场景。
技术方案采用Agentic System架构解耦感知推理与底层控制:VLM负责高层规划与上下文理解,记忆构建依赖成熟SLAM工具而非纯图文表征;ScaleNav作为专用小模型承接高频运动控制,解决30B以上大模型云端部署通信延迟无法满足50Hz操作频率的工程瓶颈。研究强调动作轨迹因果性学习优于纯视觉输入,认为文本是高级推理最佳载体,视觉仅作为辅助模态挂载。
关键看点
- 分层导航架构:SuperNav负责全局决策与记忆管理,ScaleNav作为导航小脑执行点对点移动,规避端到端模型微调导致的基模能力退化问题
- 高频控制约束:指出30B/100B大模型云端推理通信延迟约1秒,无法满足机器人操作所需的50Hz交互频率,必须将底层行动外包给专用小模型
- 模态优先级重定义:主张高级推理规划依赖文本模态,动作智能核心在于轨迹因果性学习,视觉在具身智能中仅为外挂辅助而非核心主角
- 记忆结构化方案:否定纯图文空间记忆方式,采用成熟SLAM工具构建结构化环境记忆,由VLM负责语义理解与检索,实现记忆构建与理解的分离
工程与产业观察
该研究为具身智能系统架构提供了重要的工程纠偏思路:在算力与通信受限的实体机器人上,盲目追求端到端大模型并非最优解。通过VLM+Agent+专用控制模型的分层解耦,既保留了基座模型的通用推理能力,又满足了实时控制的物理约束。这对当前行业从“刷榜”转向“落地”具有参考价值,提示开发者应重视动作模态数据质量与系统级工程适配,而非单纯堆叠视觉大模型参数。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)
- 雷峰网:浙大彭思达:从元宇宙到具身智能,一个三维视觉研究者的八年 | 世界模型50人 ↗访问 2026-11-14