踩坑GitHub huggingface/lerobot昨天
LeRobot SmolVLA微调bf16参数更新丢失验证与精度排查
本文由 AI 根据公开内容整理,可能有误,请以原文为准:[Discussion] Has the bf16 update-erasure paper been evaluated or reproduced in LeRobot?(GitHub huggingface/lerobot #5099)
状态:有绕过办法
问题
论文指出VLA全量微调时若直接用AdamW更新bf16参数而无fp32主副本,会导致小梯度更新被舍入丢失。社区需确认LeRobot中SmolVLA/π₀.₅是否存在此问题及当前后端是否提供保护。经代码审计与实验验证,SmolVLA默认配置下Action Expert确实以bf16创建并更新,优化器未保留fp32副本,96.6M参数受此影响;pi0.5默认float32不受影响,仅指定bfloat16时触发。
环境
LeRobot 0.6.2 (commit b9cb121), torch 2.11.0+cu128, transformers 5.5.4, Python 3.
解决办法
- 在训练Step 0处打印所有可训练参数的
param.dtype,确认是否为bf16以评估更新丢失风险。 - 审查SmolVLA配置:
smolvlm_with_expert.py中Expert通过复制VLM的text_config构建,默认继承bfloat16 dtype;optim/optimizers.py使用原生torch.optim.AdamW且accelerator.mixed_precision默认为no,不会自动维护fp32权重副本。 - 区分模型行为:pi0.5在
configuration_pi05.py中默认dtype为float32,仅当显式传入--policy.dtype=bfloat16时才全模型bf16;SmolVLA不读取policy.dtype,Expert始终bf16。 - 验证更新丢失机制:可通过
sitecustomize.py封装torch.optim.AdamW.step,每100步快照权重并统计…
讨论原作者:@Muyun99 等,版权归原作者所有。
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)