外观
论文HF Daily Papers · arXiv 2610.37666昨天
ThinkWorld框架以动态链推理强化VLA模型跨具身泛化能力
本文由 AI 根据公开内容整理，可能有误，请以原文为准：ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning（HF Daily Papers · arXiv 2610.37666）
核心内容
针对视觉-语言-动作（VLA）模型因动作标注数据匮乏导致泛化受限的痛点，研究团队提出ThinkWorld学习框架。该方法核心在于将动作推理锚定于世界动力学，通过引入“世界想象”强化学习机制，解决从海量无标注人类视频学习时缺乏显式动作接地的难题。实验表明，该框架在仿真及真实机器人平台上均实现了有效的人机迁移，并对未见过的任务与环境展现出强泛化能力，为突破具身智能数据瓶颈提供了新范式。
技术上，ThinkWorld定义了Chain-of-Dynamics (CoD) 作为跨具身通用动作表征，即连接当前状态与未来状态的离散运动Token序列。系统先用有标签数据初始化CoD，再预测其诱导的未来状态；若预测结果与观测一致，则通过强化学习增强该CoD权重。这一机制使无动作标注的人类视频能直接提供状态转移监督，让人类行为经验与机器人操作在同一推理空间内对齐优化，从而在不依赖额外动作标签的前提下大幅提升模型对物理世界的理解与决策鲁棒性。
关键看点
- CoD动作表征：定义离散运动Token序列作为跨具身通用接口，捕捉连接当前与未来状态的中间动力学过程
- 世界想象RL：基于CoD预测未来状态并与观测比对，通过强化学习优化推理链，实现无标注视频的状态转移监督
- 人机经验对齐：统一人类视频与机器人演示的推理空间，无需额外动作标签即可利用海量人类行为数据微调模型
- 跨域泛化验证：在仿真与真机实验中证实了从人类到机器人的有效迁移，以及对未见任务和环境的强适应能力
工程与产业观察
该工作为解决具身智能‘动作标注贵、人类视频多’的数据不对称难题提供了工程化路径。CoD作为跨具身中间表征，配合基于预测误差的RL反馈，使VLA训练可脱离对精确动作标签的绝对依赖。这对构建大规模通用操作基座模型具有关键参考价值，提示产业界应重视基于世界模型的自监督预训练与跨模态数据对齐技术储备。
英文摘要 (Abstract)
Vision-Language-Action (VLA) models have made substantial progress in robotic manipulation, but their generalization remains constrained by the diversity and coverage of action-labeled robot demonstrations. Human videos provide much broader behavioral and environmental experience, while learning from them faces a fundamental trade-off between scalable data and explicit action grounding. We introduce ThinkWorld, a VLA learning framework that grounds action reasoning in world dynamics and strengthens it through reinforcement learning with world imagination. ThinkWorld represents each action thought as a Chain-of-Dynamics (CoD), a sequence of discrete motion tokens that captures the intermediate dynamics connecting the current world to a future state and serves as a common action representation across embodiments. We first initialize CoD with action-labeled demonstrations, then predict the future induced by each CoD and reinforce those whose predictions better match the observed outcome. This enables videos without action annotations to provide direct supervision from observed state transitions, allowing human and robot experience to refine the same reasoning space. Experiments in simulation and on real robots demonstrate effective human-to-robot transfer and strong generalization to unseen tasks and environments.
Hugging Face Daily Papers 热度：44 upvotes 作者：Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang, Seungryong Kim, Fu-En Yang
来源
本页事实对应的公开页面，以原文为准。