# Bi-VLA框架融合视觉语言与双边控制提升机器人多任务泛化能力

> 原文链接：https://robotics.hellobike.com/papers/2025-09-23-2509-18865-d40a46c4
> 频道：papers | 更新日期：2025-09-23 | 标签：auto, arxiv, cs.RO
> 核心摘要：提出Bi-VLA框架，通过SigLIP与FiLM融合视觉语言特征及双边控制数据，解决传统方法单任务局限。真机实验验证其在语言辅助与纯视觉区分任务中成功率显著提升，实现单模型多任务精准操作。

# Bi-VLA框架融合视觉语言与双边控制提升机器人多任务泛化能力

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Bi-VLA: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation](https://arxiv.org/abs/2509.18865)（arXiv 2509.18865）

## 核心内容

针对传统双边控制模仿学习依赖特定任务模型、泛化性差的问题，研究团队提出Bi-VLA框架。该方法将Leader-Follower双边控制中的关节角度、速度、力矩数据与视觉语言指令深度融合，突破了单一模型处理多任务的瓶颈。真机实验表明，Bi-VLA在需语言提示及纯视觉区分两类任务中均成功执行，任务成功率较传统双边控制模仿学习方法显著提高，证实了多模态融合对提升操作通用性的有效性。

技术架构上，Bi-VLA采用SigLIP提取视觉特征，结合FiLM机制注入自然语言指令，实现与机器人本体状态数据的跨模态对齐。系统输入涵盖Leader-Follower遥操作采集的关节角、速度、扭矩及RGB图像，输出为连续动作序列。该设计保留了双边控制在精密操作中的动力学优势，同时赋予模型语义理解能力，使其能在同一权重下根据视觉或语言条件动态切换任务策略，为具身智能多任务学习提供了新范式。

## 关键看点

- **多模态融合机制**：采用SigLIP编码视觉特征，通过FiLM层注入语言指令，实现与关节角、速度、扭矩等本体数据的深度对齐
- **双边控制扩展**：继承Leader-Follower遥操作数据优势，将传统单任务双边控制模仿学习扩展至单模型多任务场景
- **真机验证成效**：在语言辅助与纯视觉区分两类任务中实测，任务成功率显著优于传统双边控制基线，验证泛化能力
- **开源资产开放**：项目主页已公开额外资料，支持社区复现与算法迭代，降低具身多任务学习研究门槛

## 工程与产业观察

Bi-VLA证明了在保留双边控制精密操作特性的前提下，通过视觉语言融合可有效打破单任务壁垒。该方案为具身智能从专用遥操作向通用多任务迁移提供了可行路径，尤其适用于需高精度力控且任务多样的工业装配与服务场景，对构建兼具柔顺性与语义理解能力的操作系统具有重要参考价值。

## 英文摘要 (Abstract)

We propose Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation (Bi-VLA), a novel framework that extends bilateral control-based imitation learning to handle more than one task within a single model. Conventional bilateral control methods exploit joint angle, velocity, torque, and vision for precise manipulation but require task-specific models, limiting their generality. Bi-VLA overcomes this limitation by utilizing robot joint angle, velocity, and torque data from leader-follower bilateral control with visual features and natural language instructions through SigLIP and FiLM-based fusion. We validated Bi-VLA on two task types: one requiring supplementary language cues and another distinguishable solely by vision. Real-robot experiments showed that Bi-VLA successfully interprets vision-language combinations and improves task success rates compared to conventional bilateral control-based imitation learning. Our Bi-VLA addresses the single-task limitation of prior bilateral approaches and provides empirical evidence that combining vision and language significantly enhances versatility. Experimental results validate the effectiveness of Bi-VLA in real-world tasks. For additional material, please visit the website: https://mertcookimg.github.io/bi-vla/

作者：Masato Kobayashi, Thanpimon Buamanee
:::

## 原始参考来源 (Sources)

- [arXiv 2509.18865：Bi-VLA: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation](https://arxiv.org/abs/2509.18865)