# PanDWM全景4D驾驶世界模型：生成提速46倍且FVD降低25%

> 原文链接：https://robotics.hellobike.com/papers/2026-11-15-2611-19857-c32b3977
> 频道：papers | 更新日期：2026-11-15 | 标签：auto, arxiv, hf-daily-papers
> 核心摘要：PanDWM将六目针孔相机拼接为360°全景带，通过因果学生模型四步生成视频并蒸馏自教师模型。在nuScenes数据集上，其生成速度达多相机基线8-46倍，FID/FVD更优，且保持教师级FID同时FVD降低22-25%。

# PanDWM全景4D驾驶世界模型：生成提速46倍且FVD降低25%

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[PanDWM: Panoramic 4D Driving World Models](https://arxiv.org/abs/2611.19857)（HF Daily Papers · arXiv 2611.19857）

## 核心内容

针对传统驾驶世界模型在多相机视图一致性上的挑战，研究提出PanDWM全景4D驾驶世界模型。该方法将六个独立光心的针孔相机图像拼接为单一360°全景带，使视图一致性问题转化为单图连续性问题。在nuScenes基准测试中，PanDWM在统一全景视角下的FID与FVD指标均优于现有多相机基线方案。

技术架构上，PanDWM采用因果学生模型以四步窗口式生成全景带，并通过自身rollout训练从因果教师模型蒸馏而来。前馈解码器沿相机射线将每帧提升为3D高斯，结合邻帧静态高斯构建完整4D场景。相比50步采样的教师模型，PanDWM在保持同等FID水平的前提下，FVD指标降低22-25%，推理速度提升8至46倍，显著优化了端到端自动驾驶仿真效率。

## 关键看点

- **全景拼接**：将六目针孔相机拼接为360°全景带，保留像素级相机射线信息，将多视图一致性约束转化为单图连续性约束
- **高效生成**：因果学生模型仅需4步即可窗口式生成全景视频，经自身rollout训练并从教师模型蒸馏，大幅减少采样步数
- **4D重建**：前馈解码器沿射线 lifting 为3D Gaussians，融合邻帧静态Gaussians补全时序几何，实现高质量4D场景构建
- **性能跃升**：nuScenes评测显示生成速度达基线8-46倍，保持教师级FID同时FVD降低22-25%，兼顾质量与实时性

## 工程与产业观察

PanDWM通过全景拼接与知识蒸馏破解了多相机世界模型的时空一致性瓶颈，46倍加速与FVD优化使其具备车规级仿真潜力。该范式验证了4D高斯表征在具身驾驶数据合成中的有效性，为端到端自动驾驶训练提供了低成本、高保真的闭环验证工具。

## 英文摘要 (Abstract)

Driving world models usually generate videos from six pinhole cameras with separate optical centres and small overlaps, and must learn to keep these views consistent. We present PanDWM, which stitches them into one 360^circ panoramic band. Camera boundaries then fall inside one image, so keeping the views consistent means keeping the image continuous, and each pixel still records its camera ray. Conditioned on layouts, a causal student generates the band window by window in four steps; it is distilled from a causal teacher and trained on its own rollouts. A feed-forward decoder lifts each frame along these rays into 3D Gaussians, and static Gaussians from neighbouring frames complete them into 4D scenes. On nuScenes, scored in one stitched 360^circ view, PanDWM has lower FID and FVD than the multi-camera baselines at 8-46times their speed, and keeps its 50-step teacher's FID while lowering FVD by 22-25%.

Hugging Face Daily Papers 热度：1 upvotes
作者：Sun Jiajun, Zeyu Zhang, Zeyu Ren, Guangfeng Jiang, Yang Zhao, Hao Tang
:::

## 原始参考来源 (Sources)

- [HF Daily Papers · arXiv 2611.19857：PanDWM: Panoramic 4D Driving World Models](https://arxiv.org/abs/2611.19857)