# LeRobot SmolVLA微调bf16参数更新丢失验证与精度排查

> 原文链接：https://robotics.hellobike.com/pitfalls/2026-11-21-lerobot-5099
> 频道：pitfalls | 更新日期：2026-11-21 | 标签：auto, github-issue, lerobot
> 核心摘要：确认LeRobot SmolVLA默认配置下专家模块以bf16存储且无fp32主权重，导致更新丢失；复现了该机制但收益未达论文预期，建议训练前检查参数dtype。

# LeRobot SmolVLA微调bf16参数更新丢失验证与精度排查

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[[Discussion] Has the bf16 update-erasure paper been evaluated or reproduced in LeRobot?](https://github.com/huggingface/lerobot/issues/5099)（GitHub huggingface/lerobot #5099）

**状态**：有绕过办法

## 问题

论文指出VLA全量微调时若直接用AdamW更新bf16参数而无fp32主副本，会导致小梯度更新被舍入丢失。社区需确认LeRobot中SmolVLA/π₀.₅是否存在此问题及当前后端是否提供保护。经代码审计与实验验证，SmolVLA默认配置下Action Expert确实以bf16创建并更新，优化器未保留fp32副本，96.6M参数受此影响；pi0.5默认float32不受影响，仅指定bfloat16时触发。

## 环境

LeRobot 0.6.2 (commit b9cb121), torch 2.11.0+cu128, transformers 5.5.4, Python 3.

## 解决办法

1. 在训练Step 0处打印所有可训练参数的`param.dtype`，确认是否为bf16以评估更新丢失风险。
2. 审查SmolVLA配置：`smolvlm_with_expert.py`中Expert通过复制VLM的`text_config`构建，默认继承bfloat16 dtype；`optim/optimizers.py`使用原生`torch.optim.AdamW`且`accelerator.mixed_precision`默认为no，不会自动维护fp32权重副本。
3. 区分模型行为：pi0.5在`configuration_pi05.py`中默认dtype为float32，仅当显式传入`--policy.dtype=bfloat16`时才全模型bf16；SmolVLA不读取`policy.dtype`，Expert始终bf16。
4. 验证更新丢失机制：可通过`sitecustomize.py`封装`torch.optim.AdamW.step`，每100步快照权重并统计…

讨论原作者：@Muyun99 等，版权归原作者所有。
:::

## 原始参考来源 (Sources)

- [GitHub huggingface/lerobot #5099：[Discussion] Has the bf16 update-erasure paper been evaluated or reproduced in LeRobot?](https://github.com/huggingface/lerobot/issues/5099)