新闻/灵初智能博客·7 个月前

北大AGPS框架实现真机RL零人工监督，45条轨迹后Agent干预归零

北大提出AGPS框架，以多模态Agent替代人工监督进行真机强化学习。通过FLOAT检测与几何工具箱，在USB插入等任务中样本效率优于HIL方法，45条轨迹后干预降为0，验证了Agent作为自动化教练赋能具身智能的可行性。

AI 整理

• 仿真与训练
• 具身模型

本文由 AI 根据公开内容整理，可能有误，请以原文为准：真机强化学习告别人工“监工”! 北大提出AGPS框架，打通Agent通往具身智能的物理通路（灵初智能博客）

核心内容

北京大学智能学院与北大-灵初联合实验室发布AGPS（Agent-guided Policy Search）框架，旨在解决真机强化学习中“人在回路”（HIL）模式成本高、难扩展及数据噪声痛点。该框架引入多模态智能体作为自动化监督源，替代传统1:1人工操作员。实验显示，在USB插入、中国结悬挂及毛巾折叠三类高难度任务中，AGPS成功率与收敛速度均显著优于SERL及HIL-SERL基线，且在USB任务交互45条轨迹后Agent干预次数降为0，证实策略具备自主进化能力。

AGPS由FLOAT在线监测、可执行工具箱与记忆库三大组件构成。FLOAT基于DINOv2 ViT-B/14编码器计算最优传输距离，当策略偏离度超过专家示范95%分位点时触发纠偏；工具箱将VLM语义转化为Lift、MoveDelta等原子操作及三维约束盒，裁剪无效探索空间；记忆模块缓存历史约束，使USB任务收敛提速约2倍。随着训练进行，智能体干预频率自动退坡，中国结悬挂任务约100条轨迹后趋近于0，实现了从语义引导到自主优化的平滑过渡。

关键看点

• FLOAT触发机制：基于DINOv2 ViT-B/14映射隐空间并计算最优传输距离，以专家示范得分95%分位点为阈值，仅在策略显著偏离时触发Agent纠偏，降低推理延迟
• 语义转几何约束：构建包含关键点反投影与动作原语库的工具箱，将VLM高层语义转化为Lift、Grasp等原子操作及三维约束盒，实现动作引导与无效探索空间裁剪
• 记忆模块加速：缓存历史成功轨迹的空间约束以避免重复调用VLM，在USB插入任务中带记忆版本的收敛速度较无记忆版本提升约2倍，显著降低计算开销
• 干预自动退坡：验证Agent监督阶段性价值，USB插入任务交互45条轨迹后干预降为0，中国结悬挂任务约100条轨迹后趋近于0，表明策略已实现自主优化

工程与产业观察

AGPS将非结构化语义转化为几何约束，解决了真机RL对人工监督的依赖瓶颈。其干预频率随训练递减的特性，证明了通用多模态Agent可作为“语义世界模型”与自动化教练。这为构建云端Agent驱动大规模机器人集群自主迭代提供了工程范式，是具身智能从仿真走向物理世界的关键基础设施。

来源

本页事实对应的公开页面，以原文为准。

1. 灵初智能博客：真机强化学习告别人工“监工”! 北大提出AGPS框架，打通Agent通往具身智能的物理通路访问 2026-10-14