具身开发者社区

外观

论文arXiv 2509.188652025-09-23

Bi-VLA框架融合视觉语言与双边控制提升机器人多任务泛化能力 ​

提出Bi-VLA框架，通过SigLIP与FiLM融合视觉语言特征及双边控制数据，解决传统方法单任务局限。真机实验验证其在语言辅助与纯视觉区分任务中成功率显著提升，实现单模型多任务精准操作。

AI 整理
  • 本体 SDK 与控制
  • 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Bi-VLA: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation（arXiv 2509.18865）

核心内容 ​

针对传统双边控制模仿学习依赖特定任务模型、泛化性差的问题，研究团队提出Bi-VLA框架。该方法将Leader-Follower双边控制中的关节角度、速度、力矩数据与视觉语言指令深度融合，突破了单一模型处理多任务的瓶颈。真机实验表明，Bi-VLA在需语言提示及纯视觉区分两类任务中均成功执行，任务成功率较传统双边控制模仿学习方法显著提高，证实了多模态融合对提升操作通用性的有效性。

技术架构上，Bi-VLA采用SigLIP提取视觉特征，结合FiLM机制注入自然语言指令，实现与机器人本体状态数据的跨模态对齐。系统输入涵盖Leader-Follower遥操作采集的关节角、速度、扭矩及RGB图像，输出为连续动作序列。该设计保留了双边控制在精密操作中的动力学优势，同时赋予模型语义理解能力，使其能在同一权重下根据视觉或语言条件动态切换任务策略，为具身智能多任务学习提供了新范式。

关键看点 ​

  • 多模态融合机制：采用SigLIP编码视觉特征，通过FiLM层注入语言指令，实现与关节角、速度、扭矩等本体数据的深度对齐
  • 双边控制扩展：继承Leader-Follower遥操作数据优势，将传统单任务双边控制模仿学习扩展至单模型多任务场景
  • 真机验证成效：在语言辅助与纯视觉区分两类任务中实测，任务成功率显著优于传统双边控制基线，验证泛化能力
  • 开源资产开放：项目主页已公开额外资料，支持社区复现与算法迭代，降低具身多任务学习研究门槛

工程与产业观察 ​

Bi-VLA证明了在保留双边控制精密操作特性的前提下，通过视觉语言融合可有效打破单任务壁垒。该方案为具身智能从专用遥操作向通用多任务迁移提供了可行路径，尤其适用于需高精度力控且任务多样的工业装配与服务场景，对构建兼具柔顺性与语义理解能力的操作系统具有重要参考价值。

英文摘要 (Abstract) ​

We propose Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation (Bi-VLA), a novel framework that extends bilateral control-based imitation learning to handle more than one task within a single model. Conventional bilateral control methods exploit joint angle, velocity, torque, and vision for precise manipulation but require task-specific models, limiting their generality. Bi-VLA overcomes this limitation by utilizing robot joint angle, velocity, and torque data from leader-follower bilateral control with visual features and natural language instructions through SigLIP and FiLM-based fusion. We validated Bi-VLA on two task types: one requiring supplementary language cues and another distinguishable solely by vision. Real-robot experiments showed that Bi-VLA successfully interprets vision-language combinations and improves task success rates compared to conventional bilateral control-based imitation learning. Our Bi-VLA addresses the single-task limitation of prior bilateral approaches and provides empirical evidence that combining vision and language significantly enhances versatility. Experimental results validate the effectiveness of Bi-VLA in real-world tasks. For additional material, please visit the website: https://mertcookimg.github.io/bi-vla/

作者：Masato Kobayashi, Thanpimon Buamanee

来源

本页事实对应的公开页面，以原文为准。

  1. arXiv 2509.18865：Bi-VLA: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation访问 2026-10-23