论文HF Daily Papers · arXiv 2611.045272 天前

DreamFree通过表征蒸馏实现14B视频模型11Hz无想象机器人控制

提出DreamFree世界动作模型，利用表征蒸馏将视频扩散模型转为视觉编码器，免除推理时视频生成。基于14B骨干网络实现11Hz实时闭环控制，成功率优于现有VLA与WAM，支持跨具身视频演示学习且无需新任务动作标注。

AI 整理

具身模型
端侧部署

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Future Representation Distillation for Imagination-free World Action Models（HF Daily Papers · arXiv 2611.04527）

核心内容

针对世界动作模型（WAMs）依赖迭代视频去噪导致计算昂贵及预测偏差问题，研究提出DreamFree架构。该方法通过表征蒸馏复用预训练视频扩散模型作为预测性视觉编码器，仅凭当前观测提取特征即可预测动作，彻底消除推理阶段的未来视频生成环节。实验表明，该系统在真实与仿真任务中成功率超越SOTA级VLA和WAM，并成功验证了从视频先验到机器人控制能力的有效迁移。

技术核心在于训练视觉编码器拟合冻结视频扩散模型的内部表征，再由动作模块从中提取控制信息。系统搭载14B参数视频扩散骨干网络，实现了11Hz的实时闭环控制频率。此外，DreamFree具备跨具身学习能力，可直接利用不同本体的视频演示数据训练新任务，全程无需额外动作标注，显著降低了具身智能数据采集与模型部署的工程门槛。

关键看点

架构创新：采用表征蒸馏将视频扩散模型转化为视觉编码器，推理时仅需当前观测，完全免除高耗时的未来视频生成过程
性能指标：基于14B参数视频扩散骨干网络，实现11Hz实时闭环控制频率，任务成功率优于当前主流VLA与世界动作模型
数据效率：支持跨具身视频演示学习，可直接利用异构本体视频数据训练新任务，全程无需新增动作标注数据

工程与产业观察

该工作证明了大参数视频生成模型可通过表征蒸馏高效转化为机器人控制策略，解决了生成式WAM推理延迟高的工程痛点。其跨具身零样本视频学习能力，为缓解具身数据稀缺提供了可复用的算法范式，对端侧部署与多模态大模型落地具有重要参考价值。

英文摘要 (Abstract)

World Action Models (WAMs) use the predictive knowledge of pretrained video diffusion models for robot control through future video prediction. However, iterative video denoising is costly, and inaccurate visual predictions can compromise action prediction. Our key idea is to make this predictive knowledge available through visual representations computed from the current observation, enabling action prediction without generating future videos. We introduce DreamFree, a WAM that repurposes a pretrained video diffusion model as a predictive visual encoder through representation distillation. The visual encoder learns to predict a frozen video diffusion model's representation using only the current observation. An action module is then trained to predict actions by extracting action-relevant information from the visual encoder. Across real-world and simulated tasks, DreamFree achieves higher success rates than state-of-the-art VLAs and WAMs, while performing real-time closed-loop control at 11Hz with a 14B video diffusion backbone. Experiments show that DreamFree can translate stronger video priors and additional video data into better robot control and enable learning new robot tasks from video demonstrations, including videos from a different embodiment, without action annotation for the new tasks.

Hugging Face Daily Papers 热度：6 upvotes 作者：Jaehyeong Jo, Sangwon Jang, Sihyun Yu, Seonghyeon Ye, Yekyung Nah, Hojung Jung, Kimin Lee, Sung Ju Hwang