外观
论文arXiv 2606.019514 个月前
VLA导航框架：人类第一视角视频转机器人动作联合训练
本文由 AI 根据公开内容整理，可能有误，请以原文为准：Co-training with Ego-centric Video and Demonstration for Robot Navigation Task（arXiv 2606.01951）
核心内容
针对VLA模型在移动机器人导航任务中真机数据采集成本高的问题，研究提出一种利用人类第一视角行走视频扩充训练集的框架。该方法解决了人眼视角与机器人视角差异导致的迁移难题，通过联合训练策略在水果搜索导航任务中验证了有效性，证明人类视频可作为可扩展的高质量数据源，显著提升模型的语言理解能力与动作生成鲁棒性。
技术核心在于从人类视频中估计相机运动轨迹，并将其转换为地面移动机器人兼容的动作表征格式，实现跨域数据对齐。系统采用VLA架构进行人机混合数据联合训练，相比仅使用单一数据源，该方案有效弥补了机器人专用导航数据的稀缺短板。实验结果表明，引入人类自我中心视频不仅降低了数据获取门槛，还增强了模型对自然语言指令的语义解析精度及复杂环境下的导航稳定性。
关键看点
- 数据转换机制：从人类行走视频中估计相机运动并转化为移动机器人兼容动作表征，解决视角差异
- 联合训练策略：VLA模型融合人类视频与真机数据进行训练，优于单一数据源的语言理解与动作性能
- 任务验证效果：水果搜索导航实验证实人类第一视角视频是移动机器人学习的有效可扩展数据源
- 核心痛点解决：突破移动机器人导航高质量数据获取瓶颈，降低大规模VLA模型训练的数据采集成本
工程与产业观察
该工作为具身智能导航提供了低成本数据增强范式，通过将海量人类视频转化为机器人可用动作标签，缓解了真机采集瓶颈。对于算法工程师而言，这种跨域动作映射与联合训练思路可直接复用于VLA模型迭代；产业侧则应关注此类“视频即数据”技术对降低机器人落地边际成本的长期价值。
英文摘要 (Abstract)
Vision-language-action (VLA) models are promising for diverse robotic tasks, but their performance heavily depends on large-scale high-quality training data, whose collection on real robots is costly and time-consuming. While prior work has explored augmenting manipulation datasets with egocentric human videos, applying such approaches to mobile robot navigation remains challenging due to viewpoint changes during locomotion. In this paper, we propose a framework that converts egocentric walking videos into datasets for mobile robot imitation learning. The proposed method estimates camera motion from human videos and transforms it into action representations compatible with ground mobile robots. By jointly training a VLA model on human-derived and robot-collected datasets, the model achieves improved language understanding and more robust action generation than training with either data source alone. Experiments on a fruit-search navigation task demonstrate that human egocentric videos provide an effective and scalable data source for mobile robot learning.
作者：Shoya Kuno, Yumo Ouchi, Kanata Suzuki
来源
本页事实对应的公开页面，以原文为准。