# GenieSim操作基准复现：评估协议、指标类型及随机化配置确认

> 原文链接：https://robotics.hellobike.com/pitfalls/2026-08-07-genie-sim-169
> 频道：pitfalls | 更新日期：2026-08-07 | 标签：auto, github-issue, genie_sim
> 核心摘要：确认GenieSim基准复现细节：每任务套件单checkpoint、默认episode与seed、无额外随机化，榜单指标为statistics.average。

# GenieSim操作基准复现：评估协议、指标类型及随机化配置确认

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Reproducing GenieSim manipulation benchmark scores](https://github.com/AgibotTech/genie_sim/issues/169)（GitHub AgibotTech/genie_sim #169）

**状态**：已解决

## 问题

开发者复现GenieSim操作基准时，需确认π0.5/π0/GR00T模型是单checkpoint还是分任务微调、评估episode数量、是否多seed平均、场景与实例随机化设置，以及README榜单指标是e2e还是statistics.average，以确保评估协议与官方一致。

## 环境

GenieSim仿真平台，涉及π0.5、π0、GR00T模型的操作任务基准测试环境。

## 解决办法

1. 官方结果使用每个任务套件（如instruction、manipulation）的单一checkpoint进行评估，非分任务单独微调。
2. 评估所用episode数量保持仓库默认配置，无需修改。
3. 当前未对多个`--benchmark.seed`取平均，seed亦采用默认值。
4. 官方评估设置与开源仓库完全一致，无需启用额外的场景或实例随机化配置。
5. README排行榜展示的指标为`statistics.average`，而非`e2e`。

讨论原作者：@Idan-BenAmi 等，版权归原作者所有。
:::

## 原始参考来源 (Sources)

- [GitHub AgibotTech/genie_sim #169：Reproducing GenieSim manipulation benchmark scores](https://github.com/AgibotTech/genie_sim/issues/169)