# RoboFFT实现生成式机器人策略RL后训练，真机操作成功率达100%

> 原文链接：https://robotics.hellobike.com/news/2026-11-03-corl2026-robofft
> 频道：news | 更新日期：2026-11-03 | 标签：auto, rss, psibot-blog
> 核心摘要：北大-灵初联合实验室提出RoboFFT方法，被CoRL2026接收。该框架复用扩散/流模型前向加噪损失构造近似概率比，解决生成式策略RL更新难题。真机抓取茄子任务从行为克隆14/20提升至在线后训练20/20，训练效率较DPPO加速38倍。

# RoboFFT实现生成式机器人策略RL后训练，真机操作成功率达100%

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[CoRL2026 | 让机器人从交互中持续学习！RoboFFT提出面向生成式机器人策略的强化学习后训练方法](https://www.psibot.ai/corl2026-%e8%ae%a9%e6%9c%ba%e5%99%a8%e4%ba%ba%e4%bb%8e%e4%ba%a4%e4%ba%92%e4%b8%ad%e6%8c%81%e7%bb%ad%e5%ad%a6%e4%b9%a0%ef%bc%81robofft%e6%8f%90%e5%87%ba%e9%9d%a2%e5%90%91%e7%94%9f%e6%88%90%e5%bc%8f/)（灵初智能博客）

## 核心内容

北大-灵初联合实验室研究成果RoboFFT被CoRL2026正式接收并开源。该方法针对生成式机器人策略难以直接应用Policy Gradient的痛点，提出基于前向加噪过程的强化学习后训练框架。在Robomimic仿真及LIBERO视觉语言动作模型测试中验证了有效性，并在插销插入、抓取茄子等四项真机任务中完成从离线到在线的闭环迭代，其中抓取茄子任务在相同数据预算下成功率由行为克隆的70%提升至在线后训练的100%。

技术上，RoboFFT利用扩散或流模型预训练时的前向加噪匹配损失差构造代理概率比，结合PPO裁剪更新策略，避免了精确动作概率计算的高开销。针对流策略引入可控采样噪声以平衡探索与利用，并通过多次蒙特卡洛采样降低估计波动。实验显示，其流策略版本较ReinFlow训练加速1.53倍，扩散策略版本较DPPO加速38.0倍；后训练使策略在抓取、对齐等关键决策步骤的动作质量显著提升，同时降低了非关键动作的采样多样性。

## 关键看点

- **核心机制**：复用前向加噪匹配损失构造近似概率比，结合PPO实现生成式策略RL更新，规避精确概率计算瓶颈
- **真机性能**：抓取茄子任务在相同数据预算下，经离线及在线后训练成功率从行为克隆14/20提升至20/20
- **训练效率**：扩散策略版本训练耗时较DPPO平均加速38.0倍，流策略版本较ReinFlow加速1.53倍
- **探索策略**：流策略交互时加入可控噪声，中等强度噪声配合2次蒙特卡洛采样可最优平衡收敛速度与稳定性

## 工程与产业观察

RoboFFT为生成式具身策略提供了低成本的在线进化范式。通过复用预训练损失函数作为RL信号，解决了扩散/流模型后训练中概率密度不可算的工程难题。真机实验证实，在有限数据预算下，基于任务反馈的策略更新比单纯增加模仿学习数据更能突破性能天花板，对解决长程操作中的分布外泛化问题具有直接参考价值。
:::

## 原始参考来源 (Sources)

- [灵初智能博客：CoRL2026 | 让机器人从交互中持续学习！RoboFFT提出面向生成式机器人策略的强化学习后训练方法](https://www.psibot.ai/corl2026-%e8%ae%a9%e6%9c%ba%e5%99%a8%e4%ba%ba%e4%bb%8e%e4%ba%a4%e4%ba%92%e4%b8%ad%e6%8c%81%e7%bb%ad%e5%ad%a6%e4%b9%a0%ef%bc%81robofft%e6%8f%90%e5%87%ba%e9%9d%a2%e5%90%91%e7%94%9f%e6%88%90%e5%bc%8f/)