新闻量子位11 天前
蚂蚁灵波开源LingBot-Touch触觉基础模型,灵巧操作成功率提升超20%
本文由 AI 根据公开内容整理,可能有误,请以原文为准:Token卷到触觉了!机器人终于有了通用手感(量子位)
核心内容
蚂蚁灵波正式开源触觉预训练基础模型LingBot-Touch及其轻量版LingBot-Touch-Tiny(约532万参数),旨在解决机器人接入原始触觉传感器后操作成功率反降的行业痛点。实验显示,Sharpa Wave灵巧手配合π0.5模型执行拉拉链任务时,直接输入原始触觉读数会导致成功率从纯视觉的39%跌至15%;而经LingBot-Touch编码处理后,成功率飙升至59%,交接盒子任务也从48%回升至63%。该模型已在26项真机任务中验证,使T-Rex、π0.5等四种主流动作模型的平均成功率提升21至25个百分点,且参数量仅增加约0.15%。
技术上,LingBot-Touch采用JEPA路线在特征空间预测被遮挡触点表征,避免拟合稀疏背景噪声,接触中心判断误差低至0.90毫米,显著优于VAE/MAE的3毫米以上误差。模型通过旋转位置编码(RoPE)统一三类传感器坐标,利用4983小时(含人手手套与遥操作数据)预训练实现跨硬件泛化:在未见过磁触觉传感器的XHand上零样本部署,π0.5平均成功率仍从48%升至74.17%。目前该模型已与LingBot-VLA融合,并联合乐聚、钛虎等本体厂商在零售与工业分拣场景开展商业化测试。
关键看点
- JEPA特征预测:随机遮蔽90%触点进行特征空间预测,接触中心误差0.90mm,视频检索Top5召回率32.07%,远超传统生成式方法
- 跨硬件零样本泛化:仅用人手手套数据预训练,未微调即适配XHand新型磁触觉传感器,分离叠杯任务成功率从32.5%翻倍至72.5%
- 统一触觉Token化:将视/磁/压阻三类异构传感器映射至标准化指尖空间,通过RoPE编码解耦触点布局,支持动态采样密度防过拟合
- Scaling Law初显:Tiny版在4000小时数据饱和,Small版在5000小时仍持续上涨,真机任务成功率随预训练数据量稳定提升
工程与产业观察
LingBot-Touch验证了触觉基础模型作为“感知翻译层”的工程价值,证明通过JEPA与统一Token化可解决多模态触觉异构与稀疏性问题。其零样本跨硬件泛化能力表明,具身触觉表征学习正从专用适配器迈向通用基座阶段,为灵巧手精细化操作提供了可复用的物理常识底座,补齐了视觉主导范式在接触后阶段的感知短板。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)
- 量子位:Token卷到触觉了!机器人终于有了通用手感 ↗访问 2026-11-10