# pi0.5 PyTorch版缺LoRA致4090显存不足，可用纯PyTorch分支微调

> 原文链接：https://robotics.hellobike.com/pitfalls/2026-09-19-openpi-842
> 频道：pitfalls | 更新日期：2026-09-19 | 标签：auto, github-issue, openpi
> 核心摘要：针对pi0.5 PyTorch实现缺乏原生LoRA导致消费级显卡无法微调的问题，提供纯PyTorch LoRA分支作为绕过方案。

# pi0.5 PyTorch版缺LoRA致4090显存不足，可用纯PyTorch分支微调

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[[Feature Proposal] Add LoRA training support for pi0.5 (PyTorch backend)](https://github.com/Physical-Intelligence/openpi/issues/842)（GitHub Physical-Intelligence/openpi #842）

**状态**：有绕过办法

## 问题

openpi仓库中pi0.5的PyTorch实现缺乏原生LoRA训练支持，全参数微调对RTX 4090等消费级硬件显存压力过大，难以在单卡24GB显存下完成训练。

## 环境

模型：pi0.5 (PyTorch)；硬件：NVIDIA RTX 4090 (24GB)；数据集：Libero；框架：纯PyTorch（无peft依赖）。

## 解决办法

1. 克隆社区开发者提供的LoRA功能分支 `https://github.com/sen-code-lost/openpi/tree/feat/pytorch-lora` 以获取纯PyTorch实现的LoRA支持。
2. 配置混合微调策略：对Transformer模块注入LoRA适配器（Rank=16），目标层包括Attention的 `q_proj`、`k_proj`、`v_proj`、`o_proj` 及MLP的 `gate_proj`、`up_proj`、`down_proj`，同时解冻Vision Encoder与Projection Layers。
3. 设置训练超参为Batch Size 16，预期峰值显存占用约16GB，可训练参数占比约12.11%（4.41亿/36.4亿）。
4. 关注官方PR #854 合并进度，待合入主干后切换回官方版本以获得长期维护支持。

讨论原作者：@sen-code-lost 等，版权归原作者所有。
:::

## 原始参考来源 (Sources)

- [GitHub Physical-Intelligence/openpi #842：[Feature Proposal] Add LoRA training support for pi0.5 (PyTorch backend)](https://github.com/Physical-Intelligence/openpi/issues/842)