论文/arXiv 2610.21060·13 天前

用于 LLM 算术推理的 Bellman 一致轨迹强化学习

针对 LLM 算术推理终端奖励稀疏问题，提出 Bellman 一致轨迹 RL，并在 Countdown 任务上验证。

AI 整理

• 本体 SDK 与控制
• 具身模型
• 端侧部署

原文链接：Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning（arXiv 2610.21060 · 发布日期：2026-10-15）

Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning

针对 LLM 算术推理终端奖励稀疏问题，提出 Bellman 一致轨迹 RL，并在 Countdown 任务上验证。

核心要点

• 动机是缓解 LLM 算术推理中稀疏终端奖励带来的优化瓶颈。
• 方法引入 TBRM 将稀疏奖励转为稠密 token 级信号，并结合 RLOO 与 hindsight goal relabeling。
• 在 Countdown 任务上，该方法比 GRPO 更能稳定梯度方差并缓解优化瓶颈。
• TBRM-RLOO 将 Pass@1 提升至 0.55--0.64，Pass@16 达到 76.0--84.0%，优于所列基线。

验证范围与局限：验证范围限于摘要中提到的 Countdown 任务。

英文摘要 (Abstract)

To address sparse terminal rewards in LLM arithmetic reasoning, we propose a Bellman-consistent trajectory RL method. Our framework introduces Trajectory Bellman Residual Minimization (TBRM) to transform sparse rewards into dense token-level signals. We integrate a Reinforce Leave-One-Out (RLOO) group strategy to reduce gradient variance of Bellman residuals and use hindsight goal relabeling to accelerate intermediate learning. Evaluated on the Countdown task, our method alleviates optimization bottlenecks and stabilizes gradient variance significantly better than GRPO. The TBRM-RLOO framework boosts Pass@1 to 0.55--0.64 and achieves a state-of-the-art Pass@16 accuracy of 76.0--84.0%, outperforming the SFT, IPO/DPO, and RLOO baselines. Our approach demonstrates exceptional single-sample efficiency and successfully circumvents standard performance plateaus via test-time scaling.

作者：Lianfa Li

来源

本页事实对应的公开页面，以原文为准。

1. arXiv 2610.21060：Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning访问 2026-10-21