具身开发者社区

外观

论文arXiv 2503.220202025-03-27

CoT-VLA引入视觉思维链推理，真实操作任务成功率提升17% ​

针对现有VLA模型缺乏时序规划难题，提出CoT-VLA方法。该7B参数模型通过自回归预测未来帧作为视觉目标并生成动作序列，在真实机器人操作中较SOTA提升17%，仿真基准提升6%，显著增强复杂任务推理能力。

AI 整理
  • 仿真与训练
  • 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models（arXiv 2503.22020）

核心内容 ​

针对当前视觉-语言-动作（VLA）模型仅关注输入输出映射而缺失中间推理步骤的痛点，研究团队提出CoT-VLA框架。该方法将显式视觉思维链（Visual CoT）引入VLA，使7B参数模型具备理解与生成视觉及动作Token的能力。实验数据显示，CoT-VLA在真实世界操作任务中性能超越现有SOTA模型17%，在仿真基准测试中提升6%，验证了视觉推理对具身控制的有效性。

技术核心在于采用自回归方式预测未来图像帧作为视觉目标，再据此生成短期动作序列，从而赋予模型时序规划与推理能力。不同于传统直接映射范式，CoT-VLA利用预训练视觉语言模型与多源机器人演示数据，在保持泛化性的同时补齐了复杂操作所需的中间认知环节。项目已开源网站，为具身智能算法从感知执行向认知规划演进提供了新范式。

关键看点 ​

  • 视觉思维链机制：通过自回归预测未来图像帧作为视觉目标，再基于该目标生成短动作序列，实现显式中间推理
  • 性能量化提升：7B参数规模的CoT-VLA在真实机器人操作任务中较SOTA提升17%，仿真环境提升6%
  • 模型架构特性：支持同时理解和生成视觉与动作Token，解决传统VLA缺乏时序规划与中间推理步骤的问题

工程与产业观察 ​

CoT-VLA证明了在端到端VLA中嵌入视觉推理链路可显著提升操作成功率，为解决具身智能长程任务规划瓶颈提供可行路径。其自回归视觉目标预测机制降低了纯文本推理的语义鸿沟，对构建具备认知能力的通用机器人大模型具有重要工程参考价值。

英文摘要 (Abstract) ​

Vision-language-action models (VLAs) have shown potential in leveraging pretrained vision-language models and diverse robot demonstrations for learning generalizable sensorimotor control. While this paradigm effectively utilizes large-scale data from both robotic and non-robotic sources, current VLAs primarily focus on direct input--output mappings, lacking the intermediate reasoning steps crucial for complex manipulation tasks. As a result, existing VLAs lack temporal planning or reasoning capabilities. In this paper, we introduce a method that incorporates explicit visual chain-of-thought (CoT) reasoning into vision-language-action models (VLAs) by predicting future image frames autoregressively as visual goals before generating a short action sequence to achieve these goals. We introduce CoT-VLA, a state-of-the-art 7B VLA that can understand and generate visual and action tokens. Our experimental results demonstrate that CoT-VLA achieves strong performance, outperforming the state-of-the-art VLA model by 17% in real-world manipulation tasks and 6% in simulation benchmarks. Project website: https://cot-vla.github.io/

作者：Qingqing Zhao, Yao Lu, Moo Jin Kim, Zipeng Fu, Zhuoyang Zhang, Yecheng Wu, Zhaoshuo Li, Qianli Ma, Song Han, Chelsea Finn, Ankur Handa, Ming-Yu Liu, Donglai Xiang, Gordon Wetzstein, Tsung-Yi Lin

来源

本页事实对应的公开页面，以原文为准。

  1. arXiv 2503.22020：CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models访问 2026-10-23