Skip to content

踩坑GitHub huggingface/lerobot昨天

LeRobot SmolVLA微调bf16参数更新丢失验证与精度排查 ​

本文由 AI 根据公开内容整理,可能有误,请以原文为准:[Discussion] Has the bf16 update-erasure paper been evaluated or reproduced in LeRobot?(GitHub huggingface/lerobot #5099)

状态:有绕过办法

问题 ​

论文指出VLA全量微调时若直接用AdamW更新bf16参数而无fp32主副本,会导致小梯度更新被舍入丢失。社区需确认LeRobot中SmolVLA/π₀.₅是否存在此问题及当前后端是否提供保护。经代码审计与实验验证,SmolVLA默认配置下Action Expert确实以bf16创建并更新,优化器未保留fp32副本,96.6M参数受此影响;pi0.5默认float32不受影响,仅指定bfloat16时触发。

环境 ​

LeRobot 0.6.2 (commit b9cb121), torch 2.11.0+cu128, transformers 5.5.4, Python 3.

解决办法 ​

  1. 在训练Step 0处打印所有可训练参数的param.dtype,确认是否为bf16以评估更新丢失风险。
  2. 审查SmolVLA配置:smolvlm_with_expert.py中Expert通过复制VLM的text_config构建,默认继承bfloat16 dtype;optim/optimizers.py使用原生torch.optim.AdamW且accelerator.mixed_precision默认为no,不会自动维护fp32权重副本。
  3. 区分模型行为:pi0.5在configuration_pi05.py中默认dtype为float32,仅当显式传入--policy.dtype=bfloat16时才全模型bf16;SmolVLA不读取policy.dtype,Expert始终bf16。
  4. 验证更新丢失机制:可通过sitecustomize.py封装torch.optim.AdamW.step,每100步快照权重并统计…

讨论原作者:@Muyun99 等,版权归原作者所有。

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. GitHub huggingface/lerobot #5099:[Discussion] Has the bf16 update-erasure paper been evaluated or reproduced in LeRobot? ↗访问 2026-11-21