踩坑GitHub isaac-sim/IsaacLab2 个月前
IsaacLab SB3 Wrapper无界动作空间回退致SAC训练奖励发散
本文由 AI 根据公开内容整理,可能有误,请以原文为准:[Bug Report] SB3 wrapper's unbounded action space fallback breaks off-policy algorithms (SAC)(GitHub isaac-sim/IsaacLab #5080)
状态:已解决
问题
IsaacLab的Sb3VecEnvWrapper将无界动作空间强制设为[-100, 100]。SAC算法通过tanh()压缩动作后使用unscale_action()重映射,过大的边界导致初始动作分布弥散,有效区间[-1, 1]被稀释,引发所有测试环境(Ant/Humanoid/Cartpole)奖励崩溃或发散。PPO因采样高斯分布不受影响,但SAC等Off-policy算法完全失效。
环境
Isaac Sim 5.1.0, IsaacLab 2.3.2, Ubuntu 24.04.4 LTS, NVIDIA RTX PRO 6000 Blackwell, CUDA 13.1, Driver 590.48.01
解决办法
- 合并或应用 PR #7910,修改
isaaclab_rl/sb3.py中Sb3VecEnvWrapper.__init__逻辑,将无界 Box 动作空间的默认回退值从[-100, 100]改为[-1, 1]。 - 若需同时支持 PPO 与 SAC,注意
[-1, 1]可能降低 PPO 性能;建议针对具体任务显式定义物理合理的动作边界并调整奖励权重,而非依赖全局回退值。 - 验证修复效果:在 Isaac-Ant-v0、Humanoid-v0 等环境运行 SAC 1M steps,确认奖励收敛至正常范围(如 Ant 从 -1786 恢复至 -1.5)。
讨论原作者:@e-ndorfin 等,版权归原作者所有。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)