Skip to content

踩坑GitHub isaac-sim/IsaacLab昨天

BC-RNN策略评估时机械臂在目标物附近振荡无法抓取 ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:[Question] BC-RNN policy oscillates near target object without grasping during evaluation(GitHub isaac-sim/IsaacLab #7963)

状态:有绕过办法

问题 ​

在IsaacLab中使用BC-RNN训练抓取策略,尽管训练Loss正常下降,但在play.py评估时机械臂能到达目标位置却在物体附近持续振荡,无法执行最终抓取动作。怀疑原因包括视觉编码器精度不足、LSTM时序处理异常或动作输出缩放错误。

环境 ​

IsaacLab仿真环境,robomimic框架,BC-RNN算法(ResNet18+SpatialSoftmax+2层LSTM),HDF5数据集含双RGB相机流及低维状态(joint_pos/vel/cube_pos/last_action)。

解决办法 ​

  1. 检查评估阶段图像预处理:IsaacLab的play.py已对image_obs_list做permute和除255操作,若robomimic的RolloutPolicy._prepare_observation再次处理会导致图像变暗且轴序错乱,需打印eval时obs的min/max/shape并与HDF5比对,确认env cfg中image_obs_list设置是否引发双重处理。
  2. 启用GMM输出头:当前bc.json禁用gmm而使用纯L2头,导致不同时刻接近与闭合动作被平均化为悬停行为,应切换为BC-RNN-GMM以保留多模态分布。
  3. 夹爪输出阈值化:评估时将夹爪连续输出二值化为开/闭状态,避免半闭合导致抓取失败。
  4. 移除观测中的last_action:该特征易诱发copycat行为使策略仅重复上一动作,建议删除后重新训练验证。

讨论原作者:@thiendoengr-svg 等,版权归原作者所有。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. GitHub isaac-sim/IsaacLab #7963:[Question] BC-RNN policy oscillates near target object without grasping during evaluation ↗访问 2026-11-21