具身开发者社区

外观

踩坑GitHub AgibotTech/genie_sim5 个月前

GenieSim评估organize_items checkpoint成功率35%远低于论文52% ​

评估官方checkpoint成功率偏低，系机器人腰部初始化状态错误所致，更新主分支代码将初始值改为0.42即可解决。

AI 整理
  • 本体 SDK 与控制
  • 仿真与训练

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Evaluating Provided Checkpoint Does Not Reproduce Paper（GitHub AgibotTech/genie_sim #143）

状态：已解决

问题 ​

用户使用 serve_policy.py 和 geniesim 命令评估 organize_items checkpoint，设置 benchmark.num_episode=10，测得平均成功率仅35%，显著低于论文报告的52%。用户确认仿真环境commit正确，但资产版本无法精确回溯，怀疑配置或数据子集存在差异导致复现失败。

环境 ​

GenieSim3.0，genie_sim commit 8bf3e57a，模型权重为 organize_items/29999，数据集从ModelScope下载（4月2日），基准测试方法为微调pi0.5。

解决办法 ​

  1. 检查机器人初始化配置，确认腰部（waist）初始状态是否为0.42而非旧版的0.4，该参数偏差是导致性能下降的主因。
  2. 拉取 genie_sim 仓库最新 main 分支代码，官方已在此版本中修正了腰部初始化状态错误。
  3. 确保使用官方发布的完整数据集进行评测，确认基线方法仍为微调 pi0.5，排除数据子集或模型架构变更带来的干扰。

讨论原作者：@gunnxx 等，版权归原作者所有。

来源

本页事实对应的公开页面，以原文为准。

  1. GitHub AgibotTech/genie_sim #143：Evaluating Provided Checkpoint Does Not Reproduce Paper访问 2026-10-26