本文提出了一种基于收缩估计 (shrinkage estimators) 的新型基线 (baseline) 方法，通过在统计上更优地结合单个提示 (per-prompt) 和跨提示批次 (across-prompt) 的奖励均值，来显著降低策略梯度估计的方差，从而为大型推理模型的强化学习训练带...

Unlocking the Power of Multi-Agent LLM for Reasoning: From Lazy Agents to Deliberation

2025年11月07日

本文识别并解决了多智能体 LLM 推理框架中的“懒惰智能体”问题，通过理论分析揭示其源于现有强化学习目标的内在偏差，并提出了一种名为 Dr. MAMR 的新框架，该框架利用夏普利启发的因果影响测量和一种可验证的深思熟虑（deliberation）奖励机制，以促进智能体之间更均衡、更有效的协作。

Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration

2025年11月06日

本文提出了一种名为PREPO的高效强化学习方法，通过结合基于提示困惑度（Perplexity）的课程学习调度和基于相对熵（Relative Entropy）的探索性序列加权，在不牺牲模型性能的前提下，将大语言模型在强化学习训练中的数据效率提升了高达3倍。

Prompt-R1: Collaborative Automatic Prompting Framework via End-to-end Reinforcement Learning

2025年11月06日

本文提出了一种名为 Prompt-R1 的端到端强化学习框架，该框架通过训练一个小型语言模型（作为智能体）以多轮交互的方式生成并优化提示，从而与一个大型语言模型（作为环境）协作，以更低的成本和更高的效率解决复杂问题。

Data-Efficient RLVR via Off-Policy Influence Guidance

2025年11月03日

本文提出了一种名为CROPI的数据高效强化学习框架，通过一种新颖的离策略影响函数估计方法，以极低的计算成本识别并挑选对模型训练最有价值的数据，从而在大型语言模型的推理能力训练中实现显著的加速。

FAPO: Flawed-Aware Policy Optimization for Efficient and Reliable Reasoning

2025年10月28日

本文提出了一种名为缺陷感知策略优化 (FAPO) 的方法，通过训练一个生成式奖励模型（GenRM）来识别并惩罚那些最终答案正确但推理过程有误的“缺陷正样本”，从而在不增加Token预算的情况下，提升大型语言模型在强化学习训练中的推理可靠性、效率和稳定性。

DeepAgent: A General Reasoning Agent with Scalable Toolsets

2025年10月27日

本文提出DeepAgent，一个通用的端到端深度推理智能体（Agent），它将思考、动态工具发现和动作执行统一在单个连贯的推理流中，并通过自主记忆折叠机制和专门的强化学习方法ToolPO，使其能够高效利用规模可变的工具集解决复杂真实世界任务。

Mixture-of-Minds: Multi-Agent Reinforcement Learning for Table Understanding

2025年10月25日

本文提出了一种名为 Mixture-of-Minds (MoM) 的多智能体框架，它将表格理解任务分解为规划、编码和回答三个专门的角色，并引入一个基于蒙特卡洛树搜索（MCTS）和强化学习（RL）的自提升训练框架，从而显著提升了模型的表格推理能力。

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values

2025年10月24日

本文提出 RLEV 方法，通过将可验证的正确性奖励与人类定义的显式价值（如题目分数）相结合，直接优化语言模型，使其不仅追求正确性，更优先处理高价值任务，并学会根据任务重要性调整回答的详略程度。

Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization

2025年10月21日

本文通过分析大型语言模型（LLM）在推理任务中的注意力模式，揭示了一种“预规划-锚定”（Preplan-and-Anchor）的内在节奏，并基于此发现提出了一种细粒度策略优化方法，有效解决了传统强化学习方法中奖励稀疏和信用分配不明确的问题，从而显著提升了LLM的复杂推理能力。

Cost-Aware Retrieval-Augmentation Reasoning Models with Adaptive Retrieval Depth

2025年10月21日

本文提出了一种成本感知的动态检索增强推理模型 Dynamic Search-R1，它通过强化学习动态调整检索文档的数量，在显著降低约16-20%延迟的同时，将精确匹配（Exact Match）准确率平均提升了约5%。

DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning

2025年10月21日

本文提出了一种名为 DLER 的强化学习训练配方，通过改进优化技术（而非设计复杂的长度惩罚函数）来解决模型输出过长的问题，在将响应长度缩短超过70%的同时，还能超越基线模型的准确率，实现了顶尖的准确率-效率权衡。

Dual-Weighted Reinforcement Learning for Generative Preference Modeling

2025年10月21日

本文提出了一种名为双重加权强化学习（Dual-Weighted Reinforcement Learning, DWRL）的新框架，该框架通过一个保留了偏好建模归纳偏置的双重加权强化学习目标，将思维链（CoT）推理与Bradley-Terry（BT）模型相结合，从而在不依赖可验证奖励的通用任务...

SSL4RL: Revisiting Self-supervised Learning as Intrinsic Reward for Visual-Language Reasoning

2025年10月21日

本文提出了一种名为 SSL4RL 的新框架，通过将自监督学习（SSL）任务重新定义为可验证的内在奖励，对视觉语言模型（VLM）进行强化学习（RL）微调，从而在无需人工标注或AI评判器的情况下有效提升模型的视觉推理与对齐能力。