踩坑GitHub huggingface/lerobot3 天前
LeRobot离线ReplayBuffer图像未归一化致训练异常与Checkpoint保存失败
本文由 AI 根据公开内容整理,可能有误,请以原文为准:[Bug][RL] Offline replay buffer stores uint8 camera frames as float 0-255, corrupting offline training and checkpoint dumps(GitHub huggingface/lerobot #5411)
状态:已解决
问题
LeRobot 0.7.1中ReplayBuffer.from_lerobot_dataset()将视频相机帧存为float32 [0,255]而非[0,1]。使用OnlineOfflineMixer时离线批次图像值比在线大255倍破坏训练;同时因数值超范围导致PNG写入被拒,save_episode()抛出FileNotFoundError中断学习。PR #4558仅修复写入路径,内存中离线缓冲仍为0-255。
环境
LeRobot 0.7.1 (commit b0057180), Ubuntu 22.04, Python 3.12.12, PyTorch 2.11.0+cu130, RTX 5090, FFmpeg 4.4.2, torchcodec 0.11.
解决办法
- 在
_lerobotdataset_to_transitions函数中将uint8 RGB相机帧转换为float32并除以255.0归一化至[0,1]区间,对state和next_state键均执行此操作。 - 排除depth键的归一化处理,保持其原始数据类型与范围不变。
- 更新或合入PR #5413,该修复已在
tests/utils/test_replay_buffer.py中添加回归测试,验证return_uint8=True加载视频数据集并经to_lerobot_dataset()往返后数值正确。 - 验证修复效果:确认buffer内图像值域变为[0,1],图像写入错误降为0,且
to_lerobot_dataset()能成功写入全部帧。
讨论原作者:@18853477039 等,版权归原作者所有。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)