具身开发者社区

外观

新闻IEEE Spectrum Robotics1 个月前

UC Berkeley发布T-Rex触觉数据集与双专家架构提升灵巧操作成功率 ​

针对VLA模型精细操作短板，UC Berkeley构建含200+物体的T-Rex触觉数据集，提出高低频分离的双专家控制架构。该方案在12项复杂任务中平均成功率达65%，较最优VLA翻倍；清华团队同步聚合3000小时跨传感器数据推动硬件无关触觉学习。

AI 整理
  • 感知与导航
  • 数据与采集
  • 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Robots Are Learning to Feel（IEEE Spectrum Robotics）

核心内容 ​

UC Berkeley Trevor Darrell团队针对视觉-语言-动作（VLA）模型在USB插拔、钥匙转动等精细操作中缺乏触觉反馈的瓶颈，发布了包含擦拭、抓取、扭转及倾倒等动作的T-Rex触觉数据集。该数据集涵盖200多种家居物体与100小时高质量遥操作演示，旨在解决触觉数据稀缺问题。基于此训练的模型在拧灯泡、挤牙膏、转移鸡蛋等12项复杂任务中平均成功率达65%，性能接近现有最佳纯视觉VLA模型的两倍，验证了触觉信号对灵巧操作的关键增益价值。

为解决触觉反馈实时性与VLA推理延迟的失配，团队设计了双专家架构：动作专家生成高层运动规划，触觉专家以4倍速率运行并基于实时力/滑移信号修正轨迹。针对传感器异构难题，清华大学Chengbo Yuan聚合3000小时公开数据，覆盖21种传感器类型与多种本体，通过将异构输出映射至人手模板统一格式，构建了硬件无关触觉模型。这种跨模态对齐策略借鉴了Open X-Embodiment范式，有效缓解了触觉AI研究长期受限于单一硬件物理特性的困境。

关键看点 ​

  • T-Rex数据集：包含100小时高质量触觉演示与200+家居物体，覆盖擦拭、抓取、扭转等核心操作原语，填补了精细化触觉训练数据空白。
  • 双专家架构：采用动作专家规划与触觉专家实时修正的解耦设计，触觉子模型运行速度达主模型4倍，解决了高频触觉反馈与低频VLA推理的时序失配。
  • 性能量化指标：在拧灯泡、挤牙膏等12项复杂灵巧操作任务中平均成功率达65%，较当前最优纯视觉VLA模型提升近一倍，证实触觉闭环对精细操作的必要性。
  • 跨传感器泛化：清华团队聚合3000小时数据覆盖21种传感器，通过人手模板映射实现格式统一，突破了触觉模型依赖特定硬件物理原理的迁移学习壁垒。

工程与产业观察 ​

T-Rex数据集与双专家架构证明了“高频触觉修正+低频语义规划”是突破VLA精细操作瓶颈的有效工程路径。清华团队的硬件无关表征则指明了触觉大模型的发展方向：唯有建立类似视觉领域的标准化数据协议与跨本体对齐机制，才能摆脱对单一传感器的依赖，真正实现具身触觉智能的规模化泛化与产业落地。

来源

本页事实对应的公开页面，以原文为准。

  1. IEEE Spectrum Robotics：Robots Are Learning to Feel访问 2026-10-23