# 云深处 Lite3：RL-Lite3 强化学习训练与仿真到真机部署教程

> 原文链接：https://robotics.hellobike.com/tutorials/deep-robotics-lite3-rl-training
> 频道：tutorials | 更新日期：2026-10-22 | 标签：Lite3, RL-Lite3, 强化学习, Isaac Gym, legged_gym, rsl_rl
> 核心摘要：本文按 RL-Lite3 文档整理 Lite3 四足机器人强化学习控制器流程，覆盖 Ubuntu/Python 环境、PyTorch 与 Isaac Gym 安装、依赖配置、仿真训练、仿真运行以及复制策略到真机部署项目。

# 云深处 Lite3：RL-Lite3 强化学习训练与仿真到真机部署教程

> 本文依据以下官方文档整理：[raw.githubusercontent.com/DeepRoboticsLab/Lite3_rl_training/](https://raw.githubusercontent.com/DeepRoboticsLab/Lite3_rl_training/main/README.md)。命令与版本以文档当前版本为准。

## 前置条件

- Ubuntu OS
- Python 3.6/3.7/3.8 环境，文档推荐 3.8
- 安装带 cuda 的 pytorch；RTX40 series 与 older versions 使用不同命令
- Isaac Gym version >=preview 3，并放入项目根目录
- 如果使用 cuda:0，需要电脑有 GPU

## 1. 步骤 1：准备 Python 与 PyTorch

先在 Ubuntu OS 上创建 python 3.6/3.7/3.8 环境，文档推荐 3.8。随后按显卡类型安装 pytorch with cuda；RTX40 series 使用第一组命令，older versions 使用第二组命令。\n```bash\n# pytorch\n# if your GPU is RTX40 series, use the command below\npip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117\n# if your GPU is older versions\npip3 install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio==0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html\n```

## 2. 步骤 2：放置并安装 Isaac Gym

下载 Isaac Gym，版本要求为 version >=preview 3，并将其放入项目根目录。然后按照 Isaac Gym folder 中 README.txt 的记录，使用浏览器打开 docs/install.html，在当前 Python environment 中完成 isaac gym 安装。

## 3. 步骤 3：安装 Python 依赖

在当前 Python environment 中安装文档列出的 python dependencies。这里包含 transformations、matplotlib、gym、tensorboard，以及指定版本的 numpy。\n```bash\npip3 install transformations matplotlib gym tensorboard numpy==1.23.5\n```

## 4. 步骤 4：安装 legged_gym 与 rsl_rl

RL-Lite3 仓库由 rsl_rl 与 legged_gym 组成：rsl_rl 包装 RL methods，legged_gym 提供 gym-style environments。按文档使用 pip editable 方式安装。\n```bash\ncd legged_gym\npip install -e .\n\ncd rsl_rl\npip install -e .\n```

## 5. 步骤 5：在仿真中训练策略

回到项目根目录后启动训练脚本。文档命令使用 cuda:0 作为 rl_device 与 sim_device，并开启 headless，用于在 simulation 中训练 policy。\n```bash\ncd ${PROJECT_DIR}\npython3 legged_gym/legged_gym/scripts/train.py --rl_device cuda:0 --sim_device cuda:0 --headless\n```

## 6. 步骤 6：在仿真中运行控制器

训练后可用 play.py 在 simulation 中运行 controller。需要通过 --load_run 与 --checkpoint 指定 network model 的路径与模型名。\n```bash\ncd ${PROJECT_DIR}\npython3 legged_gym/legged_gym/scripts/play.py --rl_device cuda:0 --sim_device cuda:0 --load_run ${model_dir} --checkpoint ${model_name}\n```

## 7. 步骤 7：迁移到真实机器人运行

真机运行部分，文档要求将 policy file 复制到项目 rl_deploy，然后即可在 real world 中运行 reinforcement learning controller。对应项目为 Lite3_rl_deploy。

## 验证是否跑通

确认 train.py 能在 simulation 中启动训练；随后运行 play.py，并按文档为 --load_run 和 --checkpoint 指定 network model。若需要真机运行，确认 policy file 已复制到 rl_deploy，并在 real world 中运行 reinforcement learning controller。

## 文档里点名的注意事项

- This code repository is no longer maintained! Please use the new rl_training repo.
- Isaac Gym 需要 version >=preview 3，并放入项目根目录。
- 如果电脑没有 GPU，需要将命令中的 cuda:0 替换为 cpu。
- 运行仿真控制器时，需要通过 --load_run 和 --checkpoint 指定 network model 的路径。
- Python 版本可用 3.6/3.7/3.8，文档推荐 3.8。

## 原始参考来源 (Sources)

- [raw.githubusercontent.com/DeepRoboticsLab/Lite3_rl_training/main/README.md](https://raw.githubusercontent.com/DeepRoboticsLab/Lite3_rl_training/main/README.md)