Skip to content

踩坑GitHub isaac-sim/IsaacLab2 个月前

IsaacLab SB3 Wrapper无界动作空间回退致SAC训练奖励发散 ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:[Bug Report] SB3 wrapper's unbounded action space fallback breaks off-policy algorithms (SAC)(GitHub isaac-sim/IsaacLab #5080)

状态:已解决

问题 ​

IsaacLab的Sb3VecEnvWrapper将无界动作空间强制设为[-100, 100]。SAC算法通过tanh()压缩动作后使用unscale_action()重映射,过大的边界导致初始动作分布弥散,有效区间[-1, 1]被稀释,引发所有测试环境(Ant/Humanoid/Cartpole)奖励崩溃或发散。PPO因采样高斯分布不受影响,但SAC等Off-policy算法完全失效。

环境 ​

Isaac Sim 5.1.0, IsaacLab 2.3.2, Ubuntu 24.04.4 LTS, NVIDIA RTX PRO 6000 Blackwell, CUDA 13.1, Driver 590.48.01

解决办法 ​

  1. 合并或应用 PR #7910,修改 isaaclab_rl/sb3.py 中 Sb3VecEnvWrapper.__init__ 逻辑,将无界 Box 动作空间的默认回退值从 [-100, 100] 改为 [-1, 1]。
  2. 若需同时支持 PPO 与 SAC,注意 [-1, 1] 可能降低 PPO 性能;建议针对具体任务显式定义物理合理的动作边界并调整奖励权重,而非依赖全局回退值。
  3. 验证修复效果:在 Isaac-Ant-v0、Humanoid-v0 等环境运行 SAC 1M steps,确认奖励收敛至正常范围(如 Ant 从 -1786 恢复至 -1.5)。

讨论原作者:@e-ndorfin 等,版权归原作者所有。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. GitHub isaac-sim/IsaacLab #5080:[Bug Report] SB3 wrapper's unbounded action space fallback breaks off-policy algorithms (SAC) ↗访问 2026-11-07