Skip to content

新闻ROS Discourse 官方社区3 天前

SO-101 Sim-to-Real实测:24mm相机位姿偏差致GR00T策略成功率骤降 ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:SO-101 sim-to-real, measuring how the real camera pose affects a sim-trained policy (open study and camera check kit)(ROS Discourse 官方社区)

核心内容 ​

针对NVIDIA课程发布的SO-101机械臂GR00T N1.6 Sim-to-Real检查点,研究者开展了预注册独立测试。在未微调状态下,仿真环境中使用真实相机焦距时,标定位姿下策略成功率为148/200(74%),而当引入实测的24.2mm位移与1.0°角度偏差后,成功率显著跌至99/200(49.5%),Fisher精确检验p值为6.7×10⁻⁷。50组单因素扫描实验表明无单一变量导致成功率低于基准62%的一半。

真机盲测阶段,在实测相机位姿下策略仅取得6/20(30%)成功率,95%置信区间为15–52%,样本量不足以确证仿真中的衰减效应在硬件上完全复现。为此研究者开源了binary-core-llc/so101-sim2real-drift仓库,提供基于OpenCV ChArUco的镜头校准工具(重投影RMS≤0.30px)、重复精度0.5mm/0.3°的位姿测量法,以及包含六自由度误差HUD与仿真边缘叠加的实时可视化套件,辅助开发者排查Sim-to-Real视觉漂移。

关键看点 ​

  • 位姿敏感度量化:仿真中24.2mm位移加1.0°角度偏差导致GR00T N1.6策略成功率从74%统计显著降至49.5%
  • 真机迁移差距:未微调策略在实测相机位姿下盲测成功率仅30%(6/20),95%置信区间15–52%
  • 开源校准工具:提供ChArUco标定套件要求重投影RMS≤0.30px,位姿测量重复精度达0.5mm和0.3°
  • 鲁棒性边界测试:50组单因素参数扫描共2220回合,未发现使成功率跌破名义值62%一半的单一干扰因子

工程与产业观察 ​

该研究以预注册实验量化了Sim-to-Real中相机外参标定误差对端到端策略的致命影响,24mm级偏差即可导致性能腰斩。开源的相机检查套件与HUD可视化工具为具身智能开发者提供了标准化的视觉对齐验证手段,强调在部署仿真训练策略前必须建立严格的传感器物理一致性校验流程,而非仅依赖算法泛化能力弥补硬件装配公差。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. ROS Discourse 官方社区:SO-101 sim-to-real, measuring how the real camera pose affects a sim-trained policy (open study and camera check kit) ↗访问 2026-11-19