外观
踩坑GitHub unitreerobotics/unitree_sim_isaaclab3 个月前
Unitree G1仿真单目D435与开源双目数据集不兼容致训练成功率为0
仿真环境仅配置单目D435，与开源双目数据集存在视角及图像差异，导致真机数据训练的模型在仿真测试失败，需使用专用仿真数据集。
宇树 G1本文由 AI 根据公开内容整理，可能有误，请以原文为准：如何使用宇树开源的数据集（GitHub unitreerobotics/unitree_sim_isaaclab #114）
状态：有绕过办法
问题
使用 unitree_lerobot 进行 pickplace redblock 任务训练时成功率为0。原因是 tasks/common_config/camera_configs.py 中仅配置了前置单目 D435 摄像头（/World/envs/env_.*/Robot/d435_link/front_cam），而开源数据集采用双目相机（cam_left_high, cam_right_high）。
环境
机型：Unitree G1；软件：unitree_sim_isaaclab、unitree_lerobot；传感器配置：仿真端单目前置D435，数据集端双目（cam_left_high/right_high）。
解决办法
- 确认当前
unitree_sim_isaaclab仿真环境未内置双目相机配置，不支持直接使用真机采集的双目数据集进行 Sim-to-Real 或 Real-to-Sim 验证。 - 停止使用真机双目数据集在纯单目仿真环境中测试，避免因视角和图像域差异导致策略失效。
- 改用官方提供的仿真专用数据集
G1_Dex1_PickPlaceRedBlock_Dataset_Sim进行算法验证，该数据集已适配仿真环境的相机参数与视角设定。
讨论原作者：@ZhengQiushi 等，版权归原作者所有。
来源
本页事实对应的公开页面，以原文为准。