# 北大AGPS框架实现真机RL零人工监督，45条轨迹后Agent干预归零

> 原文链接：https://robotics.hellobike.com/news/2026-03-29-agps-agent
> 频道：news | 更新日期：2026-03-29 | 标签：auto, rss, psibot-blog
> 核心摘要：北大提出AGPS框架，以多模态Agent替代人工监督进行真机强化学习。通过FLOAT检测与几何工具箱，在USB插入等任务中样本效率优于HIL方法，45条轨迹后干预降为0，验证了Agent作为自动化教练赋能具身智能的可行性。

# 北大AGPS框架实现真机RL零人工监督，45条轨迹后Agent干预归零

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[真机强化学习告别人工“监工”! 北大提出AGPS框架，打通Agent通往具身智能的物理通路](https://www.psibot.ai/%e7%9c%9f%e6%9c%ba%e5%bc%ba%e5%8c%96%e5%ad%a6%e4%b9%a0%e5%91%8a%e5%88%ab%e4%ba%ba%e5%b7%a5%e7%9b%91%e5%b7%a5-%e5%8c%97%e5%a4%a7%e6%8f%90%e5%87%baagps%e6%a1%86%e6%9e%b6%ef%bc%8c/)（灵初智能博客）

## 核心内容

北京大学智能学院与北大-灵初联合实验室发布AGPS（Agent-guided Policy Search）框架，旨在解决真机强化学习中“人在回路”（HIL）模式成本高、难扩展及数据噪声痛点。该框架引入多模态智能体作为自动化监督源，替代传统1:1人工操作员。实验显示，在USB插入、中国结悬挂及毛巾折叠三类高难度任务中，AGPS成功率与收敛速度均显著优于SERL及HIL-SERL基线，且在USB任务交互45条轨迹后Agent干预次数降为0，证实策略具备自主进化能力。

AGPS由FLOAT在线监测、可执行工具箱与记忆库三大组件构成。FLOAT基于`DINOv2 ViT-B/14`编码器计算最优传输距离，当策略偏离度超过专家示范95%分位点时触发纠偏；工具箱将VLM语义转化为`Lift`、`MoveDelta`等原子操作及三维约束盒，裁剪无效探索空间；记忆模块缓存历史约束，使USB任务收敛提速约2倍。随着训练进行，智能体干预频率自动退坡，中国结悬挂任务约100条轨迹后趋近于0，实现了从语义引导到自主优化的平滑过渡。

## 关键看点

- **FLOAT触发机制**：基于`DINOv2 ViT-B/14`映射隐空间并计算最优传输距离，以专家示范得分95%分位点为阈值，仅在策略显著偏离时触发Agent纠偏，降低推理延迟
- **语义转几何约束**：构建包含关键点反投影与动作原语库的工具箱，将VLM高层语义转化为`Lift`、`Grasp`等原子操作及三维约束盒，实现动作引导与无效探索空间裁剪
- **记忆模块加速**：缓存历史成功轨迹的空间约束以避免重复调用VLM，在USB插入任务中带记忆版本的收敛速度较无记忆版本提升约2倍，显著降低计算开销
- **干预自动退坡**：验证Agent监督阶段性价值，USB插入任务交互45条轨迹后干预降为0，中国结悬挂任务约100条轨迹后趋近于0，表明策略已实现自主优化

## 工程与产业观察

AGPS将非结构化语义转化为几何约束，解决了真机RL对人工监督的依赖瓶颈。其干预频率随训练递减的特性，证明了通用多模态Agent可作为“语义世界模型”与自动化教练。这为构建云端Agent驱动大规模机器人集群自主迭代提供了工程范式，是具身智能从仿真走向物理世界的关键基础设施。
:::

## 原始参考来源 (Sources)

- [灵初智能博客：真机强化学习告别人工“监工”! 北大提出AGPS框架，打通Agent通往具身智能的物理通路](https://www.psibot.ai/%e7%9c%9f%e6%9c%ba%e5%bc%ba%e5%8c%96%e5%ad%a6%e4%b9%a0%e5%91%8a%e5%88%ab%e4%ba%ba%e5%b7%a5%e7%9b%91%e5%b7%a5-%e5%8c%97%e5%a4%a7%e6%8f%90%e5%87%baagps%e6%a1%86%e6%9e%b6%ef%bc%8c/)