外观
踩坑GitHub unitreerobotics/unitree_il_lerobot5 个月前
G1 GR00T推理失败:修复eval_g1_sim.py图像BGR转RGB及更换数据集
本文由 AI 根据公开内容整理,可能有误,请以原文为准:Inference failure after fine-tuning GR00T policy for 100k steps on G1_Dex1 Sim dataset(GitHub unitreerobotics/unitree_il_lerobot #81)
状态:已解决
问题
在Isaac Sim中使用unitree_lerobot框架微调GR00T策略10万步后,Unitree G1 (29-DOF) + Dex1机器人无法完成红块抓取任务。评估时机械臂仅轻微抬起即停滞并重复微小动作,无有效抓取行为。该问题在使用官方G1_Dex1_PickPlaceRedBlock_Dataset_Sim数据集时复现,且被确认与官方数据集任务描述不匹配有关。
环境
机型:Unitree G1 (29-DOF) + Dex1手;框架:unitree_lerobot;数据集:unitreerobotics/G1_Dex1_PickPlaceRedBlock_Dataset_Sim;仿真:Isaac Sim;评估脚本:eval_g1_sim.py
解决办法
- 修改
unitree_lerobot/eval_robot/eval_g1_sim.py中的图像处理逻辑,将输入图像颜色空间从 BGR 转换为 RGB,解决因通道顺序错误导致的视觉特征提取异常。 - 弃用官方
G1_Dex1_PickPlaceRedBlock_Dataset_Sim数据集进行训练,因其任务描述与实际行为不一致;改用自己采集的遥操作数据进行GR00T策略微调。 - 使用自采数据重新执行
lerobot_train.py训练流程,并在相同仿真环境中验证抓取成功率,确认模型收敛正常。 - 注意当前BGR转RGB修复方案仅在仿真环境验证有效,真机部署前需额外测试图像预处理管线一致性。
讨论原作者:@peterwang779 等,版权归原作者所有。
来源
本页事实对应的公开页面,以原文为准。