外观
论文HF Daily Papers · arXiv 2610.36729昨天
Hy-Nomas发布8B交互式世界模型，支持多轮指令与连续相机控制
本文由 AI 根据公开内容整理，可能有误，请以原文为准：Hy-Nomas: Towards Free-form Interactive World Generation（HF Daily Papers · arXiv 2610.36729）
核心内容
针对交互式世界生成需遵循连续指令并保持历史一致性的挑战，研究团队发布Hy-Nomas视频世界模型。该模型采用8B参数扩散Transformer作为骨干网络，支持自由形式文本指令输入与跨多轮交互的连续相机控制，能够根据当前输入及缓存历史生成可变长度视频片段，并在人工评估中性能优于现有同类世界模型。
技术架构核心在于将结构化视频描述与动作感知因果注意力对齐，确保描述性上下文跨段可访问而动作指令仅限特定时间窗。系统集成视觉语言Prompt Enhancer将用户请求与多模态历史转化为结构化条件，并通过包含因果生成、文本交互、相机控制及合成数据训练的多阶段课程学习策略优化，最终经扩散蒸馏提升推理效率，全套资产已开源。
关键看点
- 模型架构：基于8B参数扩散Transformer骨干，支持多轮自由文本指令与连续相机控制，生成可变长度视频段
- 注意力机制：采用动作感知因果注意力设计，描述性上下文全局可见，动作指令严格限制在对应时间窗口内
- 条件增强：集成视觉语言Prompt Enhancer模块，将用户请求与多模态交互历史实时转换为下一段生成的结构化条件
- 训练策略：实施涵盖因果生成、交互控制及模型生成历史训练的多阶段课程学习，并结合扩散蒸馏技术优化
工程与产业观察
Hy-Nomas通过结构化注意力与多阶段课程学习解决了长程交互中的历史遗忘与指令漂移问题，为具身智能提供了高保真视频仿真环境构建新范式。其开源的8B权重与轻量化适配流程显著降低了交互式世界模型的研究门槛，加速了从视频生成到机器人策略验证的闭环迭代。
英文摘要 (Abstract)
Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.
Hugging Face Daily Papers 热度：101 upvotes 作者：Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian, Heng Wang, Weizhi Wang, Xiyao Wang, Xilun Wu, Mingyu Yang, Yang…
来源
本页事实对应的公开页面，以原文为准。