AOSpec：动作与观察协同推测，大模型Agent长尾延迟降低42.8%
AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving
随着大语言模型（LLM）推理架构的迅猛迭代，解码速度正在被各大服务框架推向极限。无论是专用硬件加速还是投机采样（Speculative Decoding），模型输出 Token 的时间开销已被大幅压缩。然而，在以自主代码编写、系统运维和自动化交互为代表的 Agent 任务中，用户的真实体感并没有成比例变快。原因非常直观：当大模型作为 Agent 运行时，它的工作流是典型的“思考—行动—观察”串行循环。模型每输出一个工具调用，就必须停下来等待外部环境执行完成并返回结果，才能开启下一步的推理。
ArXiv URL：https://arxiv.org/abs/2608.00881
随着推理引擎的每 Token 生成延迟（TPOT）从传统的 20 毫秒压低至 1 毫秒甚至更低，执行环境中的工具耗时逐渐占据了整个端到端延迟的绝对大头。过去学界和工业界尝试过打破这种死板的串行等待，例如推测下一个动作并提前跑工具，或者先猜测工具的输出让模型继续思考。然而，现有的单向推测在真实复杂场景中屡屡碰壁：有的工具调用极其耗时且无法仅凭上下文凭空猜出结果，而试图提前几步预测动作又会因为动作链条的错误累积而迅速失效。
针对这一根本矛盾，研究人员提出了名为 AOSpec 的无损协同推测框架。它第一次在全闭环的 Agent 交互中，将“动作推测”（Action Speculation）与“观察推测”（Observation Speculation）结合起来。AOSpec 不再去盲目追求预测的准确率，而是通过期望价值解码（Expected Value Decoding, EVD）优先押注高耗时结果；对于必须真实运行才能得到的环境反馈，它利用轻量级沙盒分支提前拉起高延迟的目标动作，并通过创新的联合动作-状态验证（Joint Action-State Verification, JASV）机制，打破了多步推测的精度暴跌困境。在涵盖 4 个主流 Agent 框架、5 款前沿模型的大规模基准测试中，AOSpec 将端到端平均延迟降低了 11.8% 到 32.5%，而在极端耗时的长尾（p99）场景下，延迟降幅更是达到了惊人的 42.8%。
串行壁垒：Agent 运行时为何难以加速？
要理解 AOSpec 的设计逻辑，首先必须审视当前工具调用类 Agent 运行时的本质瓶颈。传统的交互范式要求模型解码与工具执行严格按照物理时间线顺序轮替：模型 $M$ 生成动作 $a_t$，系统暂停模型，将 $a_t$ 派发给外部运行时，运行完成后产生观察结果 $o_t$，$o_t$ 拼接到上下文后，模型才开始解码下一步动作 $a_{t+1}$。在以终端命令、文件系统操作或代码编译为核心任务的场景下，研究者在 Terminal-Bench 2.0 数据集上深入分析后，揭示了制约推测执行的三个核心矛盾。
第一个矛盾是延迟的高度集中化。在终端操作类的 Agent 追踪记录中，绝大多数工具调用（例如查看当前路径、简单的文本过滤）都在极短的时间内完成，但一小部分慢调用（如安装依赖、启动构建、运行长周期测试）却消耗了海量时间。数据统计表明，耗时超过 1 秒的工具调用虽然只占总调用次数的 17%，却占据了全部工具执行时间的 97%。在过去的推测系统中，优化目标通常是预测命中率（Hit Rate）。但这种指标在 Agent 场景中完全失真：如果一个预测器猜中了 83% 的快速工具输出，它实际上只能帮系统隐去 3% 的等待时间；反之，哪怕一个预测器整体命中率只有 17%，但只要它全猜中了那批长耗时操作，就能帮系统消除 97% 的工具挂起延迟。
第二个矛盾是环境依赖带来的信息边界。以往做观察结果推测的方案，往往假定大模型可以根据当前上下文“脑补”出工具的输出。但这只适用于确定性较高的文本匹配或代码格式化。在真实的操作系统中，大量高延迟操作的返回结果深度依赖于隐藏的环境状态，比如正在运行的后台进程、动态分配的网络端口、实时内存资源，或是未知的训练日志输出。这些结果无法通过模型内部的前向计算直接预测，必须真正交给物理环境执行才能揭晓。如果强行用小模型去凭空猜测这类输出，命中率几乎必然归零。
第三个矛盾是长步长推测与预测精度的根本冲突。单步动作推测的潜力受限于当前解码步的时长。假设第 $i$ 步的生成耗时为 $D_i$，工具执行耗时为 $T_i$，单步动作推测所能重叠的时间上限仅为 $\min(D_i, T_i)$。当推理引擎被硬件加速到 1 毫秒每 Token 时，模型的生成周期极短，能够留给工具执行重叠的时间窗口急剧萎缩。为了获得足够的时间去掩盖几秒钟甚至十几秒的工具调用，推测系统必须向前看两步、三步甚至更远。然而在传统逻辑中，想要提前执行第 $i+k$ 步的动作，必须保证中间跨越的所有动作和状态转移全部预测正确。这种相乘递减的链式概率导致两步以上的全链命中率迅速坍塌至不可用的状态。
双轨协同：AOSpec 的核心机制突破
为了跨越上述三道屏障，AOSpec 将整个推测流程重构成了一套两级协同体系。它既不把赌注全部押在大模型的生成预测上，也不完全指望底层的并发调度，而是将“针对观察的期望价值优化”与“针对动作的状态验证隔离执行”紧密咬合在一起。
面对延迟集中化的问题，AOSpec 提出了期望价值解码（Expected Value Decoding, EVD）。EVD 的核心思想是彻底摆脱盲目追求命中率的范式，直接以“预期掩盖的延迟时间”作为生成候选分支的评分依据。在观察结果推测分支中，小草稿模型针对给定历史 $H_t$ 和当前动作 $a_t$ 产生候选观察结果 $c$。系统利用历史执行记录建立一个核回归估计器，实时预估该候选所对应的工具耗时 $\widehat{T}(c)$：
\[\widehat{T}(c)=\frac{\sum_{j}K(c,o_{j})\,T_{j}}{\sum_{j}K(c,o_{j})}\]通过将语言模型的先验概率 $p_\theta(c \mid H_t, a_t)$ 与预估工具耗时 $\widehat{T}(c)$ 相乘，EVD 算出了每个候选分支的综合期望价值：
\[V_o(c)=p_{\theta}(c\mid H_t,a_t)\,\widehat{T}(c)\]在实际调度中，草稿模型会优先输出并尝试那些期望价值最高的分支。这意味着系统会主动放弃去推测大量即使猜中也省不下半秒钟的微小输出，而是把宝贵的计算资源分配给那些一旦猜中就能省下几十秒等待的长耗时任务。
然而，对于那些受环境隐状态控制、大模型无法提前生成的观察结果，单纯优化解码无济于事。AOSpec 给出的解法是“以执行代预测”，在隔离的沙盒中提前起跑耗时较长的目标动作。但执行可能会修改文件或触发副作用，而且中间的动作链又极易猜错，为此 AOSpec 提出了联合动作-状态验证（Joint Action-State Verification, JASV）。
JASV 从根本上颠覆了长步长推测的依赖范式。它不再要求系统准确预测出从当前时刻 $t$ 到目标时刻 $t+k$ 之间的所有过渡动作，而是把目光直接聚焦在未来那个耗时巨大的“目标动作”及其“依赖环境状态”上。底层沙盒基于写时复制（Copy-on-Write, CoW）技术构建，每一次系统状态变更都会被赋予一个唯一的不可变版本哈希 $\nu(S)$。当系统推测未来可能需要执行某个慢速动作时，它会在一个隔离的分支沙盒 $f$ 中提前启动该动作，同时记录该分支派生时的初始环境版本 $\nu(S_f)$。
在主任务继续推进的过程中，中间的各种轻量级工具调用可以自由执行。当主智能体终于走到目标步并发出真实动作 $a_i$ 时，JASV 只需执行一个极简的二元校验：
\[\mathrm{ValidAct}(f,a_{i},S_{i})=[\hat{a}_{f}=a_{i}]\land[\nu(S_{f})=\nu(S_{i})]\]只要主系统当前提交的环境版本号 $\nu(S_i)$ 与隔离分支启动时的版本号一致，且生成的动作完全匹配，这个提前在后台跑完或正在运行的沙盒分支就会被直接检出并提交。中间执行的只读操作或者没有破坏文件系统一致性的命令，完全不会导致分支失效。通过把脆弱的“多步动作链全预测”降维为“目标动作与环境版本的双重匹配”，JASV 在保留串行执行完整语义（即完全无损）的前提下，成功将跨步前瞻的时间窗口拉长了数倍。
实验检验：从极端加速到长尾抑制
为了在严谨受控的条件下评估 AOSpec 的真实效能，研究人员在 Terminal-Bench 2.0 上搭建了跨越 4 种主流 Agent 框架（OpenHands、mini-swe-agent、Gemini CLI、Judy）以及 5 款大模型（覆盖 Sonnet 4.5、Opus 4.6、Gemini 2.5 Pro、GPT-5 mini 等）的全面测试矩阵，并利用真实的轨迹回放消除随机漂移带来的干扰。
在覆盖常规推理到极速硬件的整个 TPOT（每 Token 延迟 20 毫秒至 1 毫秒）区间内，AOSpec 在所有 45 组配置对比中全线胜出。当模型解码处于相对较慢的 20 毫秒阶段时，AOSpec 平均带来 11.8% 的端到端延迟降低；而当服务引擎加速到 1 毫秒 TPOT 时，传统串行体系暴露出严重的工具挂起问题，AOSpec 的平均延迟削减幅度随之扩大至 32.5%。作为对比，现有的纯动作推测基准（Spec-Actions）在极速解码下几乎丧失作用，因为极短的生成时间根本不足以掩盖单步慢工具的耗时；而基于缓存或模型生成的纯观察推测（如 SpecHop）虽然在部分重复模式明显的任务中有所表现，但面对复杂的环境异构任务时，平均降幅仅在 4.3% 到 12.2% 之间徘徊。
更为惊人的是 AOSpec 在长尾延迟上的压制力。分析 10 毫秒 TPOT 下的各分位数数据可以发现，该机制带来的收益随着延迟分位数的攀升而大幅扩张。在任务耗时的中位数（p50）和 p90 处，AOSpec 相对基线分别降低了 10.7% 和 10.5% 的运行时间；但到了 p95 分位点，耗时缩减达到 30.3%；在代表极端挂起的最坏情况 p99 处，耗时降幅更是高达 42.8%。这组数字直接佐证了前文关于“延迟集中性”的判断：由于工具调用的耗时极度向尾部集中，EVD 和 JASV 精准地将推测和计算开销倾斜到了那些数秒甚至数十秒的长尾任务上，从根本上消除了 Agent 运行时最令人难以忍受的卡顿。
在泛化能力方面，研究人员将仅在 Terminal-Bench 轨迹上训练过的观察模型，直接零样本迁移到完全未见过的软件工程基准 SWE-bench Verified（基于 Bash 环境）上进行评估。在 1 毫秒 TPOT 下，AOSpec 依然实现了 18.9% 的端到端延迟缩减，相比最强基线的 4.2% 展现出断层式的优势。这表明该框架挖掘到的推测特征并非过拟合某些特定命令，而是捕捉到了通用交互式开发中指令与系统状态交互的普遍规律。
机制消融：为什么各模块缺一不可？
论文的一系列深度消融实验进一步拆解了系统收益的技术来源，证实了两个推测层级之间的互补性与必要性。
首先是针对 EVD 价值函数的消融。如果仅用小模型的先验生成概率来挑选候选，系统会频繁猜中诸如简单的空回车、成功提示符等高频但极快的工具输出，平均每轮只能隐藏 47.6 秒；如果走向另一个极端，完全依据预估耗时来挑选候选，系统则会盲目尝试各种耗时极高但极难发生的冷门错误，每轮仅能隐去 39.4 秒。只有 EVD 将二者结合时，系统才能将每轮掩盖的延迟推高至 60.5 秒。在耗时大于 60 秒的高代价工具调用区间内，EVD 将推测命中率从基准的 18.4% 显著拉升至 21.0%，用事实证明了“基于期望价值”而非“基于命中率”的调度哲学在系统优化中的优越性。
其次是双轨推测的协同效应。当单独启用观察推测时，系统平均可降低 12.0% 的延迟；单独启用基于 JASV 的动作推测时，可降低 7.1%；而当二者合流时，平均收益跃升至 17.0%（在 1 毫秒 TPOT 下更是达到 32.5%）。这说明两种技术路线并不是非此即彼的互斥方案，观察推测负责平滑那些具有高先验确定性的模型端生成，而沙盒动作推测则充当开路先锋，负责啃下那些死死依赖物理执行环境的硬骨头。
对于工程落地而言，另一个令人振奋的结论来自模型参数与候选宽度的消融。虽然对 0.6B 大小的轻量级观察模型进行微调能显著提升 Top-1 命中率，但当候选宽度扩展到 5 个分支并发探索时，完全未微调的冻结基座模型准确率能迅速攀升至 28.1%，与微调后模型的 32.9% 极其接近。这一特性意味着，对于计算资源充裕的现代推理集群，开发者甚至无需为各个 Agent 场景专门收集训练集来微调草稿模型，直接部署现成的轻量小模型搭配并发推测，就能获得极其可观的加速红利。
Agent 系统底层工程的代际演进
在很长一段时间里，关于大模型 Agent 的学术讨论与产业应用大多聚焦于上层认知逻辑——提示词工程、反思机制、规划算法或是记忆检索架构。然而，随着模型推理能力的日渐成熟以及底层硬件的疯狂提速，系统效能瓶颈的重心正在不可逆转地从“模型如何思考”下移到“系统如何高效执行”。
AOSpec 的出现标志着 Agent 系统设计正在步入与现代计算机系统工程深层融合的新阶段。它跳出了单纯把模型当成黑盒语言发生器的狭隘视角，将操作系统层面的轻量沙盒化、写时复制版本控制，与模型推理层面的投机采样、价值引导解码编织成了一张统一的调度网络。通过将“动作预测”重构为“动作与环境状态的双重校验”，它不仅解决了 Agent 吞吐与延迟的燃眉之急，也为未来更复杂的自主交互系统（如具身智能、跨系统自动化工作流）提供了一套在保持无损语义前提下榨干执行并发度的通用蓝图。