外观
踩坑GitHub unitreerobotics/unitree_rl_gym7 个月前
Go2 RL训练失败头杵地及步态过窄的Reward调试方法
本文由 AI 根据公开内容整理,可能有误,请以原文为准:go2's left and right feet are too close(GitHub unitreerobotics/unitree_rl_gym #78)
状态:有绕过办法
问题
Go2强化学习训练出现两类异常:一是高速行走时左右脚间距过窄;二是使用python legged_gym/scripts/train.py --task=go2训练后机器人头部触地无法站立。即使代码与配置未变,复现结果也与历史成功版本差异巨大,怀疑与环境或参数漂移有关。
环境
机型:Unitree Go2;软件:unitree_rl_gym;命令:python legged_gym/scripts/train.py --task=go2 --num_envs=512 --max_iterations=30000;
解决办法
- 训练过程中实时监控各项 reward 数值变化,识别是否存在异常离谱的 reward 值导致策略崩溃。
- 适当调整 reward scales 权重以抑制异常行为,避免头部触地或步态过窄等负面现象。
- 若需新增奖励函数以实现特定目标,必须同步权衡新 reward 与原有 reward scales 的比例关系。
- 排查多目录开发导致的包加载冲突,确认修改
go2_config.py时实际加载的是当前测试目录配置而非全局安装的unitree_rl_gym包。
讨论原作者:@MarsRong 等,版权归原作者所有。
来源
本页事实对应的公开页面,以原文为准。