强化学习

VTO:过程监督强化学习编排视觉工具,多步异常检测超越72B大模型

针对这一根本顽疾,来自北京邮电大学等机构的研究团队提出了全新的过程监督强化学习框架 VTO (Visual Tool Orchestration)。该工作彻底抛弃静态的端到端黑盒映射,将异常检测重构为一个在动态物理视频环境中主动探索、调用工具并吸收多模态反馈的认知决策过程。

SoG-R1:将图谱多跳搜索内化进8B模型,无需Judge实现CWQ精度新高

来自加拿大高级研究所、麦吉尔大学和 Mila 魁北克人工智能研究所等机构的研究者提出了 Search-on-Graph-R1 (简称 SoG-R1 )。该方法摒弃了对外部庞大模型和辅助判断模块的依赖,通过“SPARQL 引导的冷启动轨迹蒸馏”配合“基于确定性奖励的强化学习(GRPO)”。

AgentOPSD:清华美团提出递归自蒸馏,ALFWorld成功率达89.1%

针对这一困境,美团、清华大学与浙江大学的研究团队提出了 AgentOPSD 。该方法不增加任何独立的 Critic 价值网络,也不引入额外的环境采样交互(Rollouts),而是通过在对数几率(Log-odds)空间内递推更新贝叶斯信念状态,将稀疏的轨迹级奖励重塑为细粒度的轮次级信用。

VulAgentRL:以代码图为验证器,7B模型跨过程漏洞检测超越Opus

为了打破这一僵局,来自新加坡政府技术局(GovTech)、哈尔滨工业大学与新加坡管理大学的研究团队提出了 VulAgentRL。该框架没有盲目依赖更长的上下文窗口去粗暴内联调用图,而是将漏洞挖掘形式化为一个具备主动工具探索能力的智能体强化学习任务。

SkillRise:单一策略边解题边进化技能,智能体RL性能提升达8.5%

针对这一困境,来自美团、新加坡国立大学(NUS)、上海交通大学与浙江大学的研究团队提出了一套端到端强化学习框架—— SkillRise 。这项工作摒弃了复杂的外部记忆库与检索中介,仅用 单一策略 在连续递进的任务序列中交替执行“任务求解”与“技能文档提炼”,并提出了跨任务解耦的信用分配机制。

Trident:不是防御不够强,而是7B模型把DRL安全防线击溃522%

令人震撼的实验结果表明:仅依靠一个经过训练的 7B 参数轻量模型(Qwen2.5-7B-Instruct),Trident 就让当前最顶尖的 DRL 蓝队防御性能平均断崖式暴跌 522%,并自主涌现出诸如规避蜜罐诱饵、自适应关键节点优先渗透等高阶攻击行为。

华为HiFloat4:首个端到端FP4强化学习,将BF16差距缩至1.1%

在此诊断之上,团队提出了带有硬件感知稀疏特性的残差量化机制 Rollout-ResQ,并结合三级层次缩放的 HiFloat4(HiF4)格式,在 Qwen2.5-3B 和 Qwen2.5-Math-7B 上,将全链路 FP4 与全精度 BF16 的准确率差距从 4.9% 缩小至仅 1.1%。

HyGAE:统一Critic兼顾Token与轮次,多轮VLM决策胜率达到91%

研究者从理论上严格证明了 Token 级与轮次级强化学习在策略梯度目标上的数学等价性,并在此基础上提出了全新的 HyGAE 框架。该框架不仅巧妙融合了两者的优势估计,还通过理论证明消解了训练两个独立价值网络的算力负担。