Skip to content

踩坑GitHub huggingface/lerobot昨天

LIBERO评测缺失seed与初始状态致配对测试失效 ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:eval_info.json drops per-episode seeds and LIBERO initial states, so runs can't be paired reliably(GitHub huggingface/lerobot #5418)

状态:有绕过办法

问题 ​

lerobot_eval.py中eval_one仅在benchmark返回info["metrics"]时保存per_episode数据。LIBERO不返回该字段,导致eval_info.json缺失每集seed及初始状态索引。由于LIBERO初始状态由episode index mod 50决定而非--seed,不同seed运行可能复用相同初始状态,使配对测试置信区间窄约1.6倍,无法正确比较checkpoint。

环境 ​

lerobot main @ 8ec1a47,macOS,LIBERO libero_object/libero_spatial,SmolVLA模型

解决办法 ​

  1. 升级至包含PR #5424的版本,确保所有benchmark均保留含seed的per_episode数据
  2. 修改LiberoEnv.reset(),在init_state_id递增前计算并缓存self._episode_init_state = self.init_state_id % len(self._init_states)
  3. 修改LiberoEnv.step(),在info["metrics"]中添加
  4. lerobot-eval将自动把该值写入per_episode[i]["metrics"]["init_state_id"],无需改动评估脚本
  5. 当init_states=False时该逻辑自动跳过,建议补充状态索引回绕及禁用初始状态的回归测试

讨论原作者:@stock-code 等,版权归原作者所有。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. GitHub huggingface/lerobot #5418:eval_info.json drops per-episode seeds and LIBERO initial states, so runs can't be paired reliably ↗访问 2026-11-22