外观
踩坑GitHub Physical-Intelligence/openpi1 个月前
Pi05 LoRA微调LIBERO成功率仅1%及norm_stats不一致排查
本文由 AI 根据公开内容整理,可能有误,请以原文为准:PI05 lora fine-tune on libero dataset & differences about the norm_stats(GitHub Physical-Intelligence/openpi #711)
状态:有绕过办法
问题
使用Pi05 base模型对LIBERO数据集进行LoRA微调后,spatial task suite成功率仅为1%。同时发现使用_compute_norm_stats.py_计算的归一化统计量与官方checkpoint及HuggingFace数据集提供的数值存在显著差异。社区反馈LoRA默认仅微调部分action head可能导致性能不佳,且评估时若静默加载了错误split的stats文件会导致成功率下降。
环境
模型:Pi05 base (gemma_2b_lora + gemma_300m_lora);数据集:physical-intelligence/libero;框架:OpenPI;训练步数:120k;Batch size:64
解决办法
- 在评估配置启动时打印实际加载的
norm-stats文件路径,确认其与微调所用数据 split 严格一致,避免因静默加载错误统计文件导致推理失败。 - 审查 LoRA 微调配置,注意默认设置可能仅微调部分 action head,需根据任务需求调整
freeze_filter或增加可训练参数范围以改善性能。 - 对比验证
_compute_norm_stats.py计算逻辑与官方预处理流程,确保数据统计口径一致,排除因统计量偏差导致的动作空间映射错误。
讨论原作者:@xuych0826 等,版权归原作者所有。
来源
本页事实对应的公开页面,以原文为准。