具身开发者社区

外观

论文arXiv 2412.035722024-12-04

Navigation World Model：10亿参数CDiT实现视觉导航轨迹规划与想象 ​

研究提出10亿参数导航世界模型NWM，基于条件扩散Transformer预测未来视觉观测。该模型支持在熟悉环境动态约束规划及陌生环境单图轨迹想象，验证了生成式视频模型作为具身导航规划器的可行性。

AI 整理
  • 感知与导航
  • 仿真与训练
  • 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Navigation World Models（arXiv 2412.03572）

核心内容 ​

针对具身智能体视觉运动导航难题，研究团队发布Navigation World Model（NWM）。这是一个可控视频生成模型，能根据历史观测与动作预测未来视觉状态。NWM采用条件扩散Transformer（CDiT）架构，参数量扩展至10亿级，并在包含人类与机器人第一视角视频的混合数据集上完成训练，旨在捕捉复杂环境动力学特性以支持下游规划任务。

技术上，NWM突破了传统监督策略的固定行为限制，允许在规划阶段动态注入约束。实验表明，该模型既能在熟悉环境中通过模拟评估自主生成或重排外部策略采样的轨迹，又能利用习得的视觉先验，仅凭单张输入图像在陌生环境中“想象”出合理导航路径。这种基于生成的规划范式为下一代导航系统提供了兼具灵活性与泛化能力的解决方案。

关键看点 ​

  • 模型架构：采用10亿参数条件扩散Transformer（CDiT），基于人机混合第一视角视频数据训练，实现对复杂环境动力学的精准建模与未来视觉预测。
  • 动态规划：区别于固定行为的监督策略，NWM支持在推理阶段动态整合约束条件，可通过模拟评估自主生成轨迹或对采样轨迹进行重排序。
  • 零样本想象：利用大规模预训练获得的视觉先验，模型仅需单张输入图像即可在未见过的陌生环境中生成合理的导航轨迹，具备强泛化能力。

工程与产业观察 ​

NWM验证了将视频生成模型转化为导航规划器的技术路径，其核心价值在于用“视觉想象”替代部分显式建图与搜索。对于具身算法工程师，这提示了利用海量互联网视频数据预训练世界模型以解决长尾场景规划问题的潜力，尤其在缺乏高精地图的开放环境中具有显著工程参考价值。

英文摘要 (Abstract) ​

Navigation is a fundamental skill of agents with visual-motor capabilities. We introduce a Navigation World Model (NWM), a controllable video generation model that predicts future visual observations based on past observations and navigation actions. To capture complex environment dynamics, NWM employs a Conditional Diffusion Transformer (CDiT), trained on a diverse collection of egocentric videos of both human and robotic agents, and scaled up to 1 billion parameters. In familiar environments, NWM can plan navigation trajectories by simulating them and evaluating whether they achieve the desired goal. Unlike supervised navigation policies with fixed behavior, NWM can dynamically incorporate constraints during planning. Experiments demonstrate its effectiveness in planning trajectories from scratch or by ranking trajectories sampled from an external policy. Furthermore, NWM leverages its learned visual priors to imagine trajectories in unfamiliar environments from a single input image, making it a flexible and powerful tool for next-generation navigation systems.

作者：Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun

来源

本页事实对应的公开页面，以原文为准。

  1. arXiv 2412.03572：Navigation World Models访问 2026-10-23