# ReplayBuffer optimize_memory=True导致截断与干预边界next_sta。

> 原文链接：https://robotics.hellobike.com/pitfalls/2026-11-10-lerobot-5284
> 频道：pitfalls | 更新日期：2026-11-10 | 标签：auto, github-issue, lerobot
> 核心摘要：LeRobot ReplayBuffer开启内存优化时，在episode截断或干预片段边界处采样到错误的next_state，建议关闭该选项或等待#5285修复。

# ReplayBuffer optimize_memory=True导致截断与干预边界next_sta。

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[ReplayBuffer(optimize_memory=True) returns the wrong next_state at episode and intervention boundaries](https://github.com/huggingface/lerobot/issues/5284)（GitHub huggingface/lerobot #5284）

**状态**：有绕过办法

## 问题

当`ReplayBuffer(optimize_memory=True)`时，采样逻辑忽略传入的`next_state`而直接读取`states[i+1]`。这导致在时间步截断（truncated=True）、离线干预缓冲区非连续过渡及NaN跳过场景下，`next_state`被错误替换为下一片段首帧。合成数据显示10步干预段错误率达9.85%，200步截断episode错误率0.38%，致使SAC算法TD目标计算错误。

## 环境

huggingface/lerobot库，rl/learner.py模块，ReplayBuffer组件，SAC算法，optimize_memory=True配置

## 解决办法

1. 临时规避：初始化`ReplayBuffer`时设置`optimize_memory=False`，可完全消除边界处的`next_state`采样错误，但会增加显存占用（如10万容量缓冲区约需39GB）。
2. 等待官方修复：关注PR #5285合并，该修复仅更正错误的TD目标且对连续episode无额外开销。
3. 检查点处理：已保存的`to_lerobot_dataset`数据不含`next_state`故不受影响；修复后重新加载checkpoint即可重建正确目标，无需从头重训，但旧策略性能可能略低。
4. 验证建议：若需评估训练影响，建议在仿真环境（如gym_hil）使用多种子对比critic loss与成功率，避免单种子异步同步带来的噪声。

讨论原作者：@SofianElmotiem 等，版权归原作者所有。
:::

## 原始参考来源 (Sources)

- [GitHub huggingface/lerobot #5284：ReplayBuffer(optimize_memory=True) returns the wrong next_state at episode and intervention boundaries](https://github.com/huggingface/lerobot/issues/5284)