踩坑GitHub huggingface/lerobot12 天前
ReplayBuffer optimize_memory=True导致截断与干预边界next_sta。
本文由 AI 根据公开内容整理,可能有误,请以原文为准:ReplayBuffer(optimize_memory=True) returns the wrong next_state at episode and intervention boundaries(GitHub huggingface/lerobot #5284)
状态:有绕过办法
问题
当ReplayBuffer(optimize_memory=True)时,采样逻辑忽略传入的next_state而直接读取states[i+1]。这导致在时间步截断(truncated=True)、离线干预缓冲区非连续过渡及NaN跳过场景下,next_state被错误替换为下一片段首帧。合成数据显示10步干预段错误率达9.85%,200步截断episode错误率0.38%,致使SAC算法TD目标计算错误。
环境
huggingface/lerobot库,rl/learner.py模块,ReplayBuffer组件,SAC算法,optimize_memory=True配置
解决办法
- 临时规避:初始化
ReplayBuffer时设置optimize_memory=False,可完全消除边界处的next_state采样错误,但会增加显存占用(如10万容量缓冲区约需39GB)。 - 等待官方修复:关注PR #5285合并,该修复仅更正错误的TD目标且对连续episode无额外开销。
- 检查点处理:已保存的
to_lerobot_dataset数据不含next_state故不受影响;修复后重新加载checkpoint即可重建正确目标,无需从头重训,但旧策略性能可能略低。 - 验证建议:若需评估训练影响,建议在仿真环境(如gym_hil)使用多种子对比critic loss与成功率,避免单种子异步同步带来的噪声。
讨论原作者:@SofianElmotiem 等,版权归原作者所有。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)