# LIBERO评测缺失seed与初始状态致配对测试失效

> 原文链接：https://robotics.hellobike.com/pitfalls/2026-11-21-lerobot-5418
> 频道：pitfalls | 更新日期：2026-11-21 | 标签：auto, github-issue, lerobot
> 核心摘要：eval_info.json未记录LIBERO的seed和初始状态索引，导致无法可靠配对。已通过PR修复seed记录，初始状态需环境侧上报metrics解决。

# LIBERO评测缺失seed与初始状态致配对测试失效

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[eval_info.json drops per-episode seeds and LIBERO initial states, so runs can't be paired reliably](https://github.com/huggingface/lerobot/issues/5418)（GitHub huggingface/lerobot #5418）

**状态**：有绕过办法

## 问题

lerobot_eval.py中eval_one仅在benchmark返回info["metrics"]时保存per_episode数据。LIBERO不返回该字段，导致eval_info.json缺失每集seed及初始状态索引。由于LIBERO初始状态由episode index mod 50决定而非--seed，不同seed运行可能复用相同初始状态，使配对测试置信区间窄约1.6倍，无法正确比较checkpoint。

## 环境

lerobot main @ 8ec1a47，macOS，LIBERO libero_object/libero_spatial，SmolVLA模型

## 解决办法

1. 升级至包含PR #5424的版本，确保所有benchmark均保留含seed的per_episode数据
2. 修改LiberoEnv.reset()，在init_state_id递增前计算并缓存self._episode_init_state = self.init_state_id % len(self._init_states)
3. 修改LiberoEnv.step()，在info["metrics"]中添加{"init_state_id": float(self._episode_init_state)}
4. lerobot-eval将自动把该值写入per_episode[i]["metrics"]["init_state_id"]，无需改动评估脚本
5. 当init_states=False时该逻辑自动跳过，建议补充状态索引回绕及禁用初始状态的回归测试

讨论原作者：@stock-code 等，版权归原作者所有。
:::

## 原始参考来源 (Sources)

- [GitHub huggingface/lerobot #5418：eval_info.json drops per-episode seeds and LIBERO initial states, so runs can't be paired reliably](https://github.com/huggingface/lerobot/issues/5418)