外观
踩坑GitHub AgibotTech/genie_sim2 个月前
GenieSim操作基准复现：评估协议、指标类型及随机化配置确认
本文由 AI 根据公开内容整理，可能有误，请以原文为准：Reproducing GenieSim manipulation benchmark scores（GitHub AgibotTech/genie_sim #169）
状态：已解决
问题
开发者复现GenieSim操作基准时，需确认π0.5/π0/GR00T模型是单checkpoint还是分任务微调、评估episode数量、是否多seed平均、场景与实例随机化设置，以及README榜单指标是e2e还是statistics.average，以确保评估协议与官方一致。
环境
GenieSim仿真平台，涉及π0.5、π0、GR00T模型的操作任务基准测试环境。
解决办法
- 官方结果使用每个任务套件（如instruction、manipulation）的单一checkpoint进行评估，非分任务单独微调。
- 评估所用episode数量保持仓库默认配置，无需修改。
- 当前未对多个
--benchmark.seed取平均，seed亦采用默认值。 - 官方评估设置与开源仓库完全一致，无需启用额外的场景或实例随机化配置。
- README排行榜展示的指标为
statistics.average，而非e2e。
讨论原作者：@Idan-BenAmi 等，版权归原作者所有。
来源
本页事实对应的公开页面，以原文为准。