具身开发者社区

外观

论文HF Daily Papers · arXiv 2610.331695 天前

World-in-Context：5B模型通过上下文条件化实现93.8%视角切换成功率 ​

提出World-in-Context交互视频世界模型框架，利用In-Context Conditioning将视角、动作与相机控制统一为显式Token。5B参数模型在WBench导航性能持平22B EchoWM，视角切换成功率达93.8%，显著优于同尺寸基线。

AI 整理
  • 仿真与训练
  • 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：World-in-Context: Interactive Video World Modeling with In-Context Conditioning（HF Daily Papers · arXiv 2610.33169）

核心内容 ​

针对现有交互式视频世界模型控制信号解耦难、架构碎片化问题，研究提出World-in-Context框架。该方法摒弃专用条件通路，采用In-Context Conditioning（ICC）机制，将视角模式、角色动作及相机运动转化为显式Token并注入共享自注意力空间。实验显示，该5B参数模型在WBench基准上导航得分81.5，与22B参数的EchoWM（81.6）持平，且视角切换成功率高达93.8%，远超现有5B基线的18.8%，验证了小参数量下高效可控生成的可行性。

技术层面，显式视角Token有效解耦了冲突动态，使单视角数据训练出的模型涌现出视角切换能力；动作与相机输入分别主导局部响应与全局稳定性。为解决执行周期间的时序连续性，引入Interaction-Transport RoPE（IT-RoPE），通过累积控制转移参数化时序注意力。受控分析表明，该架构在混合条件组合下优势叠加，具备优异的数据效率，并天然适配因果推演（Causal Rollouts），为具身智能仿真与世界模型构建提供了轻量化新范式。

关键看点 ​

  • ICC统一控制：将视角、动作、相机运动编码为显式Token注入共享自注意力空间，替代碎片化条件通路，解决多模态控制信号耦合难题。
  • 小模型高性能：5B参数模型WBench导航分81.5持平22B EchoWM，视角切换成功率93.8%（基线仅18.8%），验证显式Token对动态解耦的关键作用。
  • IT-RoPE时序增强：提出Interaction-Transport RoPE机制，利用累积控制转移参数化时序注意力，保障长序列交互中的时序连续性与因果一致性。
  • 数据与泛化优势：显式视角Token使单视角数据涌现多视角切换能力；混合条件下性能叠加，数据效率高且天然支持因果推演任务。

工程与产业观察 ​

该工作证明了在世界模型中通过Token化显式控制信号，可大幅降低对模型参数量的依赖。对于具身智能研发而言，这种轻量级、高可控性的视频生成范式，有望成为低成本构建高保真仿真环境、加速Sim-to-Real迁移及策略验证的关键基础设施，尤其适合算力受限场景下的世界模型预训练与微调。

英文摘要 (Abstract) ​

Interactive video world models require coordinated control over viewing perspectives, character actions, and camera motion. Existing methods typically leave view modes implicit in text captions, conflate action with camera motion, and inject controls through fragmented architectural pathways that capture interdependencies only indirectly. In this work, we present World-in-Context, an interactive world modeling framework powered by In-Context Conditioning (ICC). Rather than relying on specialized conditioning pathways, World-in-Context unifies view, action, and camera controls into explicit tokens contextualized directly within a shared self-attention space. Our formulation reveals that (i) explicit view tokens disentangle conflicting dynamics and unlock emergent view switching from single-view data, while (ii) action and camera inputs play complementary roles in governing local responsiveness and global stability. To preserve temporal continuity across execution intervals, we further introduce Interaction-Transport RoPE (IT-RoPE), parameterizing temporal attention with accumulated control transitions. On WBench, World-in-Context-5B achieves navigation performance on par with 22B EchoWM (81.5 vs. 81.6) and attains a 93.8% perspective-switching success rate, substantially outperforming existing 5B baselines (18.8%). Controlled analyses further demonstrate compounding advantages of World-in-Context under richer conditioning mixtures, favorable data efficiency, and natural applicability to causal rollouts.

Hugging Face Daily Papers 热度：18 upvotes 作者：Harold Chen, Rui Peng, Rongjin Guo, Lingteng Qiu, Kejie Qiu, Chao Xu, Zilong Dong

来源

本页事实对应的公开页面，以原文为准。

  1. HF Daily Papers · arXiv 2610.33169：World-in-Context: Interactive Video World Modeling with In-Context Conditioning访问 2026-10-28