# GenieSim评估organize_items checkpoint成功率35%远低于论文52%

> 原文链接：https://robotics.hellobike.com/pitfalls/2026-05-07-genie-sim-143
> 频道：pitfalls | 更新日期：2026-05-07 | 标签：auto, github-issue, genie_sim
> 核心摘要：评估官方checkpoint成功率偏低，系机器人腰部初始化状态错误所致，更新主分支代码将初始值改为0.42即可解决。

# GenieSim评估organize_items checkpoint成功率35%远低于论文52%

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Evaluating Provided Checkpoint Does Not Reproduce Paper](https://github.com/AgibotTech/genie_sim/issues/143)（GitHub AgibotTech/genie_sim #143）

**状态**：已解决

## 问题

用户使用 `serve_policy.py` 和 `geniesim` 命令评估 `organize_items` checkpoint，设置 `benchmark.num_episode=10`，测得平均成功率仅35%，显著低于论文报告的52%。用户确认仿真环境commit正确，但资产版本无法精确回溯，怀疑配置或数据子集存在差异导致复现失败。

## 环境

GenieSim3.0，genie_sim commit 8bf3e57a，模型权重为 organize_items/29999，数据集从ModelScope下载（4月2日），基准测试方法为微调pi0.5。

## 解决办法

1. 检查机器人初始化配置，确认腰部（waist）初始状态是否为0.42而非旧版的0.4，该参数偏差是导致性能下降的主因。
2. 拉取 genie_sim 仓库最新 main 分支代码，官方已在此版本中修正了腰部初始化状态错误。
3. 确保使用官方发布的完整数据集进行评测，确认基线方法仍为微调 pi0.5，排除数据子集或模型架构变更带来的干扰。

讨论原作者：@gunnxx 等，版权归原作者所有。
:::

## 原始参考来源 (Sources)

- [GitHub AgibotTech/genie_sim #143：Evaluating Provided Checkpoint Does Not Reproduce Paper](https://github.com/AgibotTech/genie_sim/issues/143)