不用外挂小模型：Self-Speculation让工具预判命中率达66.3%
Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL
在大语言模型（LLM）驱动的复杂智能体（Agent）系统中，端到端执行延迟最大的瓶颈往往不在于模型自身的 Token 生成，而在于等待外部环境的返回结果。无论是发起多跳网络搜索、检索企业内部数据库，还是调用计算代码沙盒与外部 API，这些交互都依赖外部网络 I/O 甚至远端微服务的处理。很多时候，智能体大部分时间都处于“挂起等待”状态。
ArXiv URL：https://arxiv.org/abs/2607.25816v1
为了掩盖这种高昂的等待时间，学术界与工业界很自然地想到了“推测执行”（Speculative Execution）思路：在智能体还在逐步推理、尚未正式发出工具调用请求之前，提前预测它接下来最可能调用的工具与参数，并向后台异步预先发起调用。如果后续智能体生成的调用与预先发起的一致，就能直接复用缓存好的结果，完美隐藏网络与执行延迟。
然而，现存的推测方案大多依赖外部辅助手段，要么部署一个体积更小的“草稿模型”（Draft Model），要么依赖历史轨迹的缓存匹配。来自 LinkedIn 与加州大学圣塔芭芭拉分校（UCSB）的研究团队指出了一个致命瓶颈：推测者与主体之间存在难以消除的“推测者-主体鸿沟”（Speculator-Agent Gap）。即便来自同一个模型家族，较小的草稿模型也极难精准预测主体大模型的决策；更重要的是，工具推测要求工具名与参数字典的绝对精确匹配（Exact Match），稍有偏差预执行结果就只能作废。同时，部署额外的草稿模型还会占用昂贵的显存，并导致键值缓存（KV Cache）无法直接共享。
针对这一系统性难题，该研究团队提出了 Self-speculating Agent（自推测智能体）。他们放弃了外部小模型，直接让部署的目标智能体自身兼任“推测者”，在单一模型内通过联合强化学习（Joint Agent-Speculator RL）同时学会“任务解决”与“自我预测”。这一方案在保持甚至略微提升任务成功率的同时，将工具调用的预测命中率（Hit@1）从基线的 44.1% 与 48.9% 分别大幅拉升至 61.2% 和 66.3%，并实现了前缀 KV Cache 的百分之百复用。
为什么外部小模型猜不中大模型的下一步？
推测执行最初在大模型解码加速（Speculative Decoding）中大放异彩。在解码场景下，小模型负责快速给出几个候选 Token，大模型只需做一次前向验证（Verification），只要草稿猜对了一部分，整体吞吐就能明显增加。然而，把这套逻辑生搬硬套到智能体的工具调用上，会立刻遭遇两个维度的现实阻碍。
首先是准确度层面的严苛约束。工具调用的推测命中属于“全有或全无”（All-or-Nothing）。当智能体查询航班状态或检索特定知识条目时，工具名称必须吻合，参数字典中的日期、航班号、关键词也必须精准对齐。如果外部草稿模型给出的参数哪怕只有一个字符的分歧，预先获取的数据就毫无意义，必须完全丢弃。实验评估表明，即便使用同系列的轻量模型充当推测者，其预测准确率也低得可怜。例如在 Qwen3 系列中，以 4B 模型为主体智能体时，让 Qwen3-0.6B 或 1.7B 作为外部草稿模型去猜测其在 MuSiQue 基准上的下一步调用，Hit@1 只有 14.7% 左右。更讽刺的是，如果在没有经过专门微调的情况下，直接让 4B 目标模型在提示词引导下预测自己的下一步动作，其命中率就能直接达到 25.3%。这表明，模型自身的决策分布只有它自己最清楚，轻量化模型无法拟合主体模型深层的推理状态。
其次是系统资源层面的巨大负担。部署外部草稿模型意味着系统必须常驻两套独立的模型权重。更严重的问题在于上下文长度：智能体在多轮交互、长程工具调用的过程中，上下文往往积累到数万 Token。外部草稿模型不仅需要一份独立的显存空间，还必须维持自己的 KV Cache，甚至产生重复计算与跨设备数据搬运的开销。在显存资源极为敏感的高并发推理集群中，为了换取微薄且极不稳定的命中率而常驻一个小模型，在工程经济账上往往得不偿失。
这种推测者与主体之间的行为分歧与架构冗余，促使研究人员重新审视推测的本质：既然部署的模型自身就是其行为的最佳表征者，为什么不直接让它学会“在思考的同时推测自己”？
一体双模：前缀复用与双重角色切换
Self-speculating Agent 的核心在于将原本割裂的两个实体融为一体，使单一语言模型能够平滑运行在两种截然不同的工作模式之下。
在“智能体模式”（Agent Mode）下，模型遵循标准的交互范式，接收上下文并按部就班地输出思维链推理过程，随后生成工具调用指令，并在拿到环境反馈后继续生成后续内容直至任务结束。而在“推测模式”（Speculator Mode）下，当智能体在推理链生成到某一步、或是处于等待外部环境返回的前夕，同一个模型可以接收包含当前不完整轨迹的上下文，并在末尾拼接一个极简的推测提示后缀（Speculation Suffix），促使模型直接绕过漫长的中间推理，一跃输出针对自身下一步结构化调用的预测。
这一设计在系统架构上带来了根本性的性能收益。因为推测模式所依赖的历史轨迹，与当前智能体正在推理的轨迹完全一致，底层推理引擎无需开辟新的上下文缓存，可以直接百分之百复用目标智能体已有的前缀键值缓存（Prefix KV Cache）。计算分支仅仅在推测后缀加入的瞬间发生分叉，推测解码完成后即可释放临时占用的轻量资源。
然而，让同一个模型内部同时具备这两种截然相反的能力，在训练层面存在本质冲突。智能体模式需要模型具备发散、严谨且长周期的多步推理能力，而推测模式则要求模型从不完整的局部线索中进行高度聚焦的确定性收敛。如果简单粗暴地将这两种目标混在一起做多任务训练，模型往往会发生严重的模式混淆（Mode Interference），要么推理能力退化导致下游任务成功率崩盘，要么推测输出格式混乱失去加速意义。
联合强化学习：在自身滚雪球中校准预测
为了打通这种双模态能力，本文设计了一套专门的联合智能体-推测者强化学习方法（Joint Agent-Speculator RL）。该方法最大的创新在于让推测模式的训练数据完全“在策略”（On-policy）地从智能体当下的自身交互轨迹中衍生，从而避免训练分布与部署分布脱节。
在强化学习的奖励建模上，研究团队对两种模式施加了不同的优化目标。智能体模式优化的是长程任务指标，即模型给出的最终答案是否解决了多跳问答或完成了复杂的 API 交互流程，其奖励记为 $R_{\mathrm{ag}}$。为了防止智能体在环境中盲目刷分或陷入无限死循环，奖励中还加入了针对重复无效工具调用的显式惩罚项。
推测模式优化的则是局部调用的精准度。研究者制定了由工具名精确匹配与参数对齐度相乘的推测奖励：
\[R_{\mathrm{sp}} = R_{\mathrm{name}} \cdot R_{\mathrm{args}}\]其中工具名必须分毫不差，一旦工具名预测错误，$R_{\mathrm{name}}$ 直接归零，整个推测奖励归零。只有在工具名完全正确的前提下，系统才会进一步评估参数字典。参数奖励并没有采用常见的 Token 级别全局 F1，而是针对目标参数字典中每一个键（Key）对应的取值分别计算 F1 得分，随后取宏观平均（Macro-average）：
\[R_{\mathrm{args}}=\frac{1}{\lvert \mathrm{keys}(\sigma_{t}) \rvert}\sum_{k\in\mathrm{keys}(\sigma_{t})}\mathrm{F1}\!\left(\hat{\sigma}_{t}[k],\sigma_{t}[k]\right)\]这种参数奖励设计避免了长文本参数在统计上淹没简短参数的问题，确保每个字段都被模型以同等权重对待，从而完美契合推测执行对参数结构化一致性的要求。
有了双重奖励之后，模型并不是在同一个 Batch 内部混合更新梯度，而是采用了一种精巧的交替调度机制。在整个训练生命周期内，模型按照预设的固定步长在两种模式之间来回切换。当前批次如果分配给智能体模式，就使用 $R_{\mathrm{ag}}$ 计算优势并更新参数；如果分配给推测模式，则从智能体刚刚跑出的最新轨迹中截取中间状态，套上推测后缀作为输入，以智能体随后真实发生调用的行为作为目标，使用 $R_{\mathrm{sp}}$ 进行参数更新。
为了彻底稳固这一训练过程，研究团队在工程实践中引入了三项关键支柱：
-
SFT 阶段冷启动预热：在正式执行 RL 之前，模型先在一批成功的多跳轨迹以及衍生出的推测样本混合集上进行轻量监督微调（SFT），确保模型在没有强化信号介入前，就已经能够稳定识别推测后缀并输出格式规整的 JSON 调用指令。
-
模式切换时的优化器重置：这是防止双模冲突的底层技术关键。由于两个更新任务的损失曲面与梯度方向差异极大，当训练从智能体模式跳入推测模式时，若沿用原有的 Adam 动量与自适应统计量，先前任务积累的历史动量会严重干扰甚至破坏新任务的收敛。研究人员在每次模式切换的边界瞬间重置优化器状态，从而阻断了跨模态的历史干扰。
-
阻尼式的交替更新配比：消融研究表明，逐步交替（如 1:1 交替）会导致模型剧烈震荡进而训练崩塌。最终采用的 4:8 调度模式（即连续执行 4 步智能体参数更新后，连续执行 8 步推测者参数更新），既给予了推测者模式足够的连续信号去追踪主体当前漂移的策略分布，又为智能体保留了充分的周期去夯实长程推理能力。
实验检验：自推测究竟带来了什么？
为了全面验证这种双模智能体的实用价值，论文在两大具备鲜明差异的应用场景下进行了深度测评：一类是以多跳网络搜索为代表的 Agentic SearchQA（涵盖 HotpotQA、MuSiQue 以及长程浏览评估 BrowseComp-Plus）；另一类是以严苛的真实服务交互为代表的 $\tau$-bench（包括航空公司预订与零售电商的多轮 API 调度）。
在评测基准中，衡量推测能力的核心指标是绝对精准匹配的 Hit@1，即工具名称以及所有的参数键值必须与智能体后续真实触发的指令完全一致。
从实际评测数据来看，经过联合强化学习训练的自推测智能体展现出了压倒性的优势。在 Qwen3-4B 基座上，未经训练的模型在提示词引导下的自我推测平均 Hit@1 仅为 29.1%，而经过 SFT 预热后提升至 44.1%，最终完成 Joint Agent-Speculator RL 后，这一数字跃升到了 61.2%。在更新一代的 Qwen3.5-4B 基座上，平均 Hit@1 从预热后的 48.9% 进一步提升至 66.3%。相比之下，同系列的外部小模型（如 Qwen3-0.6B、1.7B）在这些基准上的预测命中率即便拼尽全力，最高也仅在 18% 左右徘徊。
更令人瞩目的指标是智能体本身的端到端任务成功率（Task Success Rate）。通常情况下，强制模型在同一个参数空间内学习另一种侧重即时捷径的输出分布，不可避免会削弱模型的逻辑推理深度。但在本次实验中，Qwen3-4B 在多任务上的平均任务完成率不仅没有缩水，反而从初始的 26.6% 微幅爬升至 27.7%；Qwen3.5-4B 的平均成功率也从 49.2% 提升到了 50.6%。这充分证明，合理的联合强化学习并没有引发参数层面的灾难性遗忘，反而在强化模型对其未来行为的元认知（Metacognition）的同时，巩固了其工具调用的严谨性。
而在资源消耗方面，Table 1 的在线部署指标揭示了单模型自推测在系统级维度的真正统治力。在相同的长程交互测试中，基于外部 Qwen3-1.7B 的推测部署方案需要占用高达 12.76GB 的显存峰值与额外的初始化延时；而采用 4B 单模型自推测架构，显存峰值稳定在 8.70GB，整体耗时缩减了近四分之三。推测执行所带来的网络延迟隐藏，终于不再被沉重的辅助系统开销所反噬。
泛化边界与消融思考
尽管实验展现了亮眼的数据，但作者并未止步于此，而是进一步探索了这一能力的泛化边界：在一个领域培养出来的自推测能力，能否零样本迁移到另一个领域？
跨领域的迁移测试揭示了一个极具启发性的现象。当将在 SearchQA 训练集上收敛的 Qwen3-4B 检查点直接丢进 $\tau$-bench 复杂的电商交互环境中时，模型的工具推测 Hit@1 依然从基准的 35% 左右提高到了 45% 以上。然而，其下游端到端的复杂交互任务成功率却出现了明显下滑。反向迁移也是同样的结果。这说明，通过联合强化学习学到的预测机制具有一定的通用动作抽象能力（例如对结构化参数的填装逻辑和通用格式匹配），但多轮交互中深层的推理策略依然强烈依赖特定领域的环境感知。要想在特定业务线上获得收益，在对应交互分布上做同领域的联合强化微调依然不可或缺。
在训练稳定性的消融实验中，各项设计也得到了充分验证。移除模式切换时的优化器重置（Optimizer Reset），推测奖励与智能体奖励的收敛曲线都会出现明显的迟滞与剧烈锯齿波动，证实了动量残留对交叉优化的负面冲击；而一旦完全放弃交替更新、退化为混合一步走策略，整个训练甚至在最初 20 步内就会发生崩溃；若跳过 SFT 冷启动，模型在早期的强化更新中大部分探索都将浪费在对抗格式错误上。这一系列精巧的工程设计闭环，构成了双模态自推测模型得以平稳落地的核心基石。
从外挂走向共生：推测执行的下一站
长期以来，工业界在构建高性能 Agent 系统的过程中，习惯了通过拼装组件来解决问题：速度慢就外挂一个小模型做 Draft，工具多就外挂一个向量检索做筛选。然而，这种拼装思路不仅带来了高昂的显存成本和系统级延迟，更在不同模型之间撕开了一条难以逾越的认知裂痕。
这项研究为端侧与企业级智能体架构提供了一个极具辨识度的新范式：推测不该是外部第三者的盲目猜忌，而应是主体智能体在推理链路中的一种内生本能。通过联合强化学习的驱动，模型在生成每一步思考的同时，实际上也在逐步收敛对自身下一动作的确定性认知。
随着大语言模型交互链路越来越长、外部工具调用越来越频繁，这种“思考时推测、推测中复用”的统一架构，不仅有望成为未来高并发智能体系统的标准配置，更为模型认知与行为规划的一体化训练开辟了新的技术支点。