新闻Robotics & Automation News7 天前
蚂蚁Robbyant开源LingBot-Touch触觉基座模型,操作成功率提升26%
本文由 AI 根据公开内容整理,可能有误,请以原文为准:Robbyant launches LingBot-Touch to give robots a sense of touch(Robotics & Automation News)
核心内容
蚂蚁集团旗下具身智能公司Robbyant正式开源触觉基座模型LingBot-Touch,旨在解决机器人触觉感知异构数据难复用痛点。该模型预训练数据量近5000小时,覆盖磁触觉、视触觉及压阻三种主流模态。在Sharpa Wave与XHand两款灵巧手进行的26项真实世界测试中,集成该模型后LingBot-VLA、π0.5、Diffusion Policy及T-Rex四类动作模型的平均任务成功率提升约14至26个百分点,验证了通用触觉表征对精细操作的关键增益。
技术上,LingBot-Touch通过独立编码路径处理异构信号,将不同布局触点映射至共享指尖坐标系,生成统一触觉Token,实现人类手套数据与遥操作数据的联合训练。其Tiny版本参数量仅约530万,接入策略模型仅增加0.13%至0.16%体量,满足端侧实时性要求。在XHand磁触觉传感器未参与预训练的情况下,仅靠人类手套数据微调动作模型即实现跨硬件迁移,证明了解耦架构的有效性。目前代码与权重已在Hugging Face和GitHub开源。
关键看点
- 性能增益:在拧瓶盖等精细操作测试中,引入统一触觉表征后T-Rex模型控制Sharpa Wave的成功率从56.25%跃升至90%,显著优于直接使用原始传感器信号
- 统一表征:构建独立编码路径与共享指尖坐标空间,将磁、视、压阻三类异构信号转化为通用触觉Token,支持人类手套与灵巧手数据联合预训练
- 端侧轻量:LingBot-Tiny版本仅含530万参数,集成至VLA或策略模型时体量增幅低于0.16%,兼顾感知能力与机载算力约束
- 跨体复用:验证零样本硬件迁移能力,利用人类手套采集的磁触觉经验直接驱动XHand,无需针对新传感器重新采集数据或重训基座模型
工程与产业观察
LingBot-Touch通过解耦触觉表征与特定硬件,为具身智能提供了类似视觉领域的通用感知底座。其验证了异构触觉数据联合训练与跨本体迁移的可行性,Tiny版本的低开销设计更扫清了端侧部署障碍。这标志着触觉感知正从定制化模块迈向标准化基础设施,有望大幅降低灵巧操作算法适配不同传感器的边际成本。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)