具身开发者社区

外观

论文arXiv 2610.2025513 天前

后退视界安全评论器与可微动作盾提升四足RL鲁棒性 ​

针对机器人强化学习中安全故障的时序滞后性，提出后退视界安全评论器与可微CBF滤波器。该方法通过预测未来状态安全性并最小修改策略动作，在四足仿真中显著降低噪声与地形扰动下的灾难性失败率。

AI 整理
  • 仿真与训练
  • 评测与安全

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields（arXiv 2610.20255）

核心内容 ​

针对机器人强化学习中安全故障非瞬时发生、常在多步后由扰动或域偏移引发的痛点，研究提出一种基于后退视界的安全评论器（Receding-Horizon Safety Critic）。该机制不依赖马尔可夫假设，而是预测状态在未来时间窗内是否保持非终止，实现对运动失效的 anticipatory 检测。在四足机器人仿真测试中，该方法有效提升了系统在动作噪声、外部扰动及地形变化下的鲁棒性，在维持竞争性回报的同时减少了灾难性故障。

技术上，评论器采用复合目标训练，融合视界分类、受控制障碍函数（CBF）启发的时序一致性及平滑正则化，并通过集成学习与条件风险价值（CVaR）估计处理不确定性。基于此构建闭式可微CBF安全滤波器，以最小代价修正策略动作；同时将其集成至PPO算法并引入预期损失（Anticipation Loss），缓解训练中策略与滤波器的失配问题，实现了端到端的安全强化学习优化。

关键看点 ​

  • 后退视界预测：突破马尔可夫假设限制，通过学习评论器预测未来窗口状态安全性，提前识别由扰动和域偏移导致的潜在运动失效。
  • 复合训练目标：结合视界分类、CBF时序一致性约束及平滑正则化训练评论器，并利用CVaR聚合集成模型以量化预测不确定性。
  • 可微安全滤波：推导闭式可微CBF滤波器最小化动作修正量，集成至PPO并引入预期损失，解决训练阶段策略与安全层的失配难题。
  • 四足仿真验证：在模拟环境中验证了方法对动作噪声、外部冲击及地形突变的适应性，证实能在保障任务回报前提下降低灾难性失败率。

工程与产业观察 ​

该工作为具身智能体在开放动态环境中的安全部署提供了新范式。通过将前瞻式安全评估与可微控制层深度融合，解决了传统RL安全约束滞后及不可导难题。对于四足等腿足机器人开发者，该架构证明了在不牺牲性能前提下实现主动安全防御的可行性，对Sim-to-Real迁移中的鲁棒性增强具有重要工程参考价值。

英文摘要 (Abstract) ​

Despite the Markov assumption, safety failures in robot reinforcement learning rarely occur instantaneously; they typically emerge over several steps as the policy enters unfamiliar states under disturbances and domain shift. We address this limitation by learning a receding-horizon safety critic that predicts whether a state will remain non-terminating over the next receding horizon, enabling anticipatory detection of impending locomotion failures. The critic is trained from rollout-derived horizon labels with a composite objective that combines horizon classification, control-barrier-function-inspired temporal consistency, and smoothness regularization, and we aggregate an ensemble of critics with a conservative Conditional Value at Risk estimate to account for uncertainty. Building on the learned critic, we derive a closed-form, differentiable CBF-style safety filter that minimally modifies the policy action to improve predicted safety, and integrate it into PPO with an anticipation loss to reduce policy-filter mismatch during training. In simulated quadruped locomotion, our method improves robustness under action noise, external perturbations, and terrain shifts, reducing catastrophic failures while maintaining competitive returns.

作者：Siwei Ju, Jan Peters, Oleg Arenz

来源

本页事实对应的公开页面，以原文为准。

  1. arXiv 2610.20255：Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields访问 2026-10-16