踩坑GitHub huggingface/lerobot昨天
LIBERO评测缺失seed与初始状态致配对测试失效
本文由 AI 根据公开内容整理,可能有误,请以原文为准:eval_info.json drops per-episode seeds and LIBERO initial states, so runs can't be paired reliably(GitHub huggingface/lerobot #5418)
状态:有绕过办法
问题
lerobot_eval.py中eval_one仅在benchmark返回info["metrics"]时保存per_episode数据。LIBERO不返回该字段,导致eval_info.json缺失每集seed及初始状态索引。由于LIBERO初始状态由episode index mod 50决定而非--seed,不同seed运行可能复用相同初始状态,使配对测试置信区间窄约1.6倍,无法正确比较checkpoint。
环境
lerobot main @ 8ec1a47,macOS,LIBERO libero_object/libero_spatial,SmolVLA模型
解决办法
- 升级至包含PR #5424的版本,确保所有benchmark均保留含seed的per_episode数据
- 修改LiberoEnv.reset(),在init_state_id递增前计算并缓存self._episode_init_state = self.init_state_id % len(self._init_states)
- 修改LiberoEnv.step(),在info["metrics"]中添加
- lerobot-eval将自动把该值写入per_episode[i]["metrics"]["init_state_id"],无需改动评估脚本
- 当init_states=False时该逻辑自动跳过,建议补充状态索引回绕及禁用初始状态的回归测试
讨论原作者:@stock-code 等,版权归原作者所有。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)