外观
踩坑GitHub pal-robotics/pal_mjlab8 个月前
REEM-C仿真PD增益过高致RL训练难，需匹配硬件位置控制器
REEM-C因硬件仅支持位置控制，仿真必须用高PD增益模拟内环；建议通过速度缩放与策略正则化解决训练不稳。
Kangaroo本文由 AI 根据公开内容整理，可能有误，请以原文为准：REEM-C Velocity Tracking（GitHub pal-robotics/pal_mjlab #51）
状态：已解决
问题
在pal_mjlab中为REEM-C配置速度跟踪RL训练时，MuJoCo仿真所需的PD增益、阻尼及摩擦值显著高于TALOS。若为追求自然步态降低仿真增益，会导致策略依赖虚假柔顺性，部署到仅有固定200Hz位置控制器的真机时产生Sim-Real失配。
环境
机型：REEM-C；仿真器：MuJoCo；训练框架：mjlab/Playground；硬件接口：200Hz固定位置控制器；RL策略频率：50Hz；GPU：RTX 4090。
解决办法
- 保持高PD增益以精确建模REEM-C硬件嵌入式位置控制内环，确保Sim-Real一致性，不可随意调低。
- 实施速度缩放（Velocity Scaling），根据允许的最大速度限制新指令位置，缓解高增益带来的数值不稳定。
- 在RL策略层面增强平滑性与鲁棒性，采用动作正则化（Action Regularization）及接触感知代价函数。
- 将碰撞体从Mesh替换为Capsule以提升计算效率，并参考Kangaroo机型配置。
- 训练参数参考：5000迭代、16384并行环境，基于RTX 4090验证有效。
讨论原作者：@willthibault 等，版权归原作者所有。
来源
本页事实对应的公开页面，以原文为准。