CommitKV：区分休眠与完结，让多轮Agent显存直降5倍、推理加速5.6倍

CommitKV: Lifecycle-Aware KV Cache Compression via Commit Transitions for Multi-Turn Agents

论文原文 ↗ 论文发布 2026-08-08 解读发布 2026-09-25 解读：AI前沿分享

让大语言模型（LLM）化身为能够自主规划、调用外部工具的多轮智能体（Agent），已经成为落地复杂工作流的标准范式。在业界广泛采用的 ReAct（Reasoning-and-Acting）框架中，模型在“思考、调用工具、接收环境反馈”的循环中不断推进。然而，每一次工具调用的返回结果、每一轮长篇累牍的中间推理，都会被作为历史上下文追加到后续轮次中。为了避免每轮都重复计算整个历史前缀的注意力（Prefill），服务框架通常会持久化保留跨轮次的键值缓存（KV Cache）。

ArXiv URL：https://arxiv.org/abs/2608.07855v1

随着对话与工具调用深入，上下文动辄累积至数万 Token，KV Cache 占用的显存呈线性膨胀，注意力矩阵的计算延迟也急剧飙升。学术界与工业界通常使用各类 KV 压缩策略来应对——例如依据当前的注意力分数（如 SnapKV）、键冗余度（如 R-KV）或查询几何特征（如 TriAttention）设定固定的 Token 预算，把得分较低的状态直接驱逐。

但这套在普通长文本任务中行之有效的方法，放到多轮 Agent 场景下却频频翻车。腾讯与厦门大学联合提出的 CommitKV 指出，现存算法的根本症结在于采用了“单点快照式”的重要性评估逻辑：当前轮次注意力权重低的上下文，不代表未来就永远用不上。将“暂时休眠”的背景事实与“已彻底完结”的工具调用混为一谈，会导致关键记忆被过早误删。

CommitKV 提出以工具调用提交点（Commit Transition）为界，追踪上下文信息的全生命周期，只淘汰那些在调用前后发生“断崖式下跌”的完结信息，同时严格保护休眠信息。在多项基准测试中，CommitKV 相比已有最优压缩算法取得了最高 22.24 个百分点的准确率提升，并换来了最高 5.00 倍的峰值显存节约与 5.62 倍的端到端推理加速。

为什么单点快照评分在智能体场景中失效？

在标准多轮 Agent 的执行轨迹中，上下文由三种核心成分交替构成：用户意图、模型的中间推理决策、以及外部环境返回的观测值（Observation）。例如，在第 1 轮中，用户询问巴黎的游玩建议，模型搜索并阅读了一篇关于巴黎历史的背景段落 $E_1$；在第 2 轮中，模型为了给具体行程做准备，触发了一个查询天气的 API 调用 $E_2$。

当模型在第 2 轮拿到天气结果并准备下一步动作时，如果采用传统的 KV 缓存压缩策略，压缩器会检查所有驻留 Token 在当前步骤的注意力权重。此时会发生非常典型的一幕：刚刚获取的最新天气数据吸引了绝大多数注意力，而早先关于巴黎历史的背景段落 $E_1$ 以及刚刚执行完的查询指令 $E_2$，在当前的注意力矩阵中得分都极低。

在传统的快照淘汰机制眼中，$E_1$ 与 $E_2$ 是等价的“低价值噪声”，都会被裁减掉。但从 Agent 的认知生命周期来看，二者具有完全相反的语义性质：

$E_2$ 是一个已经完成了使命的工具调用参数（既然天气已经拿到，当时发出的具体网络请求格式就不再关键），它是一个真正的完结状态（Completed）。
$E_1$ 包含的是与最终任务休戚相关的背景实体信息，它之所以在当前轮次得分低，仅仅是因为当前模型正在集中处理天气数据，它处于暂时休眠（Dormant）状态。一旦天气整合完毕、进入撰写总攻略环节，$E_1$ 将被重新激活。

快照类方法无法感知时间轴上的角色转换。它们仅凭当前时间戳的一个横截面得分做粗暴剪枝，导致大量处于休眠期的长程记忆被不可逆地剔除。智能体随后便会表现出“前言不搭后语”、遗忘初始目标、或者重复调用已经执行过的工具等严重退化现象。

CommitKV 的核心洞察：以“提交动作”作为生命周期分水岭

CommitKV 的核心思路，是将软件开发中的“提交（Commit）”概念引入到 KV 缓存的生命周期管理中。在 Git 等版本控制系统中，一次 Commit 代表着一个阶段性开发任务的打包与归档；而在 ReAct Agent 中，模型生成完工具调用指令 $\boldsymbol{a}_t$ 并交给执行器的那一瞬间，同样构成了一个极其明确的认知边界——在此之前，模型在全力准备“发号施令”；在此之后，模型将吸收外部工具返回的观测结果 $\boldsymbol{o}_t$。

研究团队将智能体产生的完整事件（包括生成的工具调用和返回的观测数据）切分为定长连续的事件页（Event Pages），记为 $E$，页大小上界为 $G$（实验中设为 16）。为了判断某一页 $E$ 的真实生命周期，CommitKV 设立了成对的对比窗口：

提交前测量窗口（Pre-Commit Window, $\mathcal{Q}_c^-$）：位于工具调用生成结束前的末尾 $W$ 个 Token（如倒数 8 个 Token）。
提交后测量窗口（Post-Commit Window, $\mathcal{Q}_c^+$）：位于外部观测结果返回并被拼入下一轮上下文之后、模型生成新输出的前 $W$ 个 Token。

通过比较同一个上下文页面 $E$ 在跨越这个 Commit 边界时的影响力变化，算法便能清晰勾勒出该页面的生命周期轨迹。

页面删除效应：量化记忆的重要性

如何精确测量某个页面对当前推理的影响？如果每轮都重新过一遍前向网络，开销将难以承受。CommitKV 选择在单层注意力输出端，通过闭式解直接计算“剔除该页面”所引发的输出扰动。

对于查询位置 $p \in \mathcal{Q}$，假设驻留 Token $i$ 的原始注意力权重为 $a_{pi}$，其对应的值向量为 $\boldsymbol{v}_i$，原本的注意力头输出为 $\boldsymbol{o}_p$。若将页面 $E$ 剔除，剩余 Token 的注意力权重需要做重整化（Renormalization），剔除后的新输出 $\boldsymbol{o}_p^{\setminus E}$ 可以直接表示为：

\[\boldsymbol{o}_{p}^{\setminus E}=\frac{\boldsymbol{o}_{p}-\sum_{i\in E, p_{i}\leq p}a_{pi}\boldsymbol{v}_{i}}{1-\sum_{i\in E, p_{i}\leq p}a_{pi}}\]

借助这个公式，无需实际修改张量即可快速求出相对输出扰动。定义注意力头 $h$ 上的删除效应为：

\[R_{h}(E;\mathcal{Q}) =\max_{p\in\mathcal{Q}}\frac{\|\boldsymbol{o}_{p}-\boldsymbol{o}_{p}^{\setminus E}\|_{2}}{\|\boldsymbol{o}_{p}\|_{2}}\]

最终页面 $E$ 在窗口 $\mathcal{Q}$ 内的影响力得分 $R(E;\mathcal{Q})$ 取所有头中的最大扰动值。这一设计不仅计算轻量，而且直接反映了如果强行丢弃该页面，当前注意力表征会出现多大比例的特征漂移。

状态四分类：剥离休眠与完结

在获得提交前得分 $R_c^-(E)$ 与提交后得分 $R_c^+(E)$ 之后，CommitKV 并不单纯依赖单一的绝对阈值，而是引入了“绝对阈值 + 百分位分位数（Percentile Rank）”的双重校准。

具体而言，页面在某窗口内被判定为高影响力（High Influence, $H=1$），必须同时满足其删除效应大于绝对阈值 $\tau_{\mathrm{use}}$，且在所有页面中的百分位高于 $\rho_{\mathrm{use}}$；反之，被判定为低影响力（Low Influence, $L=1$），则需同时低于绝对下限 $\tau_{\mathrm{dead}}$ 与百分位 $\rho_{\mathrm{dead}}$。介于二者之间的边缘状态则保持未定（Uncertain），避免模棱两可时做出激进裁剪。

有了这套严谨的标定体系，页面的生命周期状态 $\lambda_c(E)$ 被归纳为四种典型走向：

完结候选（Completion Candidate）：$H_c^-(E)=1$ 且 $L_c^+(E)=1$。页面在发出工具调用前举足轻重，但当工具返回结果被整合后，其影响力瞬间跌入谷底。这表明它在当前调用中的使命已经完结，可以被纳入淘汰候选区。
休眠状态（Dormant）：$L_c^-(E)=1$ 且 $L_c^+(E)=1$。页面在调用前后都保持较低的影响力。这说明它属于跨轮次的长期背景知识，当前尚未被激活，绝不可按照低分逻辑将其驱逐。
新生状态（Newly Active）：$L_c^-(E)=1$ 且 $H_c^+(E)=1$。外部观测返回后，该页面被突然唤醒，继续保留在高速缓存中。
持续活跃（Still Active）：$H_c^-(E)=1$ 且 $H_c^+(E)=1$。跨越边界始终重要，必须强力保留。

这种基于前后对比的跃迁识别，从机理上切断了快照方法“误杀休眠记忆”的可能。

联合校验与过渡保护：严谨的系统工程设计

识别出“完结候选”并不意味着可以立刻一键清空。在实际推理中，单页删除可能只引起微小的特征变化，但若是多页被同时剔除，复合误差会非线性叠加，最终导致模型注意力崩塌。此外，跨轮次测量在时间上存在天然的相位差：提交前的得分在生成指令时就能拿到，但提交后的得分必须等待外部环境执行完工具、模型读入新输入之后才能采集。

针对这两个关键的工程与理论痛点，CommitKV 进一步设计了“贪心联合校验”与“未完结过渡保护”双重防护锁。

1. 贪心联合校验机制

CommitKV 采用贪心算法构建最终的淘汰集合 $\mathcal{D}_c$。算法首先对所有完结候选页按照提交后删除效应从小到大排序，随后逐个尝试将其并入淘汰集。每次加入新页面后，必须重新评估并确保当前拟淘汰的所有页面联合导致的相对扰动依然受控：

\[R_{c}^{+}\left(\mathcal{D}_{c}\cup\{E\}\right)\leq\tau_{\mathrm{joint}}\]

一旦累积删除效应超过安全阈值 $\tau_{\mathrm{joint}}$，后续候选页面将被立即拦截并保留在缓存中。这种保守约束构筑了一条坚固的容错底线，杜绝了多页共振引发的模型幻觉。

2. 未完结过渡保护（Transition Protection）

由于提交后测量窗口 $\mathcal{Q}_c^+$ 依赖下一轮生成的开头，因此处于等待测试阶段的页面在当前检查点绝对不能被其他通用淘汰机制移出。

CommitKV 在总预算 $B$ 中特别划拨了一个上限为 $B_N = \lfloor\eta B\rfloor$（例如占总预算的 12.5%）的受保护池 $\mathcal{N}_j$。在当前轮次被切分出来、提交前影响力较大但尚未经历提交后检验的新页面，会全数纳入 $\mathcal{N}_j$ 施加保护。只有当下一轮观测数据正式融入、前后配对测量完整闭环后，它们才会解冻并参与后续的生命周期判定。

在最终的物理剔除阶段，CommitKV 排除已被确认退役的 $\mathcal{D}_c$，锁定受保护的 $\mathcal{N}_j$，其余状态在剩余预算内按常规策略进行补充填充，并将统一的保留索引集 $\mathcal{I}_j$ 同时应用在 Key、Value 和绝对位置编码（RoPE 对应位置）上，保证 Transformer 位置语义的严谨性。

严苛评测：大模型在多轮长程交互中的真实表现

为了全面检验 CommitKV 的表现，论文在 SGLang 框架中完成了端到端实现，并依托 8 张 NVIDIA H20 96GB GPU 进行了系统性验证。

测试覆盖了包括密集模型与推理特化模型在内的 6 款主流开源基座：Qwen3-14B、Qwen3.6-27B、DeepSeek-R1-Distill-Llama-8B、GPT-OSS-20B、Phi-4-Reasoning 以及 InternLM3-8B-Instruct。评测基准被精细划分为两大阵营：

推理密集型基准：GPQA（高难度科学问答）、Bamboogle（多跳推理）、MATH-500（数学竞赛题）与 AIME25（高级数学邀请赛），专门考察模型在长链路推导下是否会因丢弃关键推理步骤而逻辑中断。
工具与证据密集型基准：FRAMES、GAIA、ToolHop 与 xbench-DeepSearch，强依赖复杂多轮环境下的工具交互、网页浏览与跨轮次信息整合。

1. 准确率：大幅逼近全量缓存，大幅甩开传统基准

在 4096 Token 的固定缓存预算限制下，CommitKV 与 FullKV（无压缩全量缓存）、SnapKV、R-KV、TriAttention 等典型基线模型进行了直接碰撞。

测试数据显示，快照类方法由于无法处理长期依赖，在复杂多轮 Agent 任务中准确率出现严重缩水。而 CommitKV 在三个核心模型上，均以压倒性优势战胜了现存的最强压缩基线。在 Qwen3-14B 上，CommitKV 取得了相比最优压缩基线高达 19.85 个百分点的平均准确率优势；在 Qwen3.6-27B 与 DeepSeek-R1-Distill-8B 上，也分别维持了 5.49 与 1.54 个百分点的领先幅度。更重要的是，相比不计成本的 FullKV，CommitKV 带来的精度损失微乎其微，几乎完全复现了全量记忆的执行水平。

在更加严苛的极度受限环境（预算压至 2048 Token）下，优势进一步被放大：CommitKV 在 Qwen3-14B 上以超强韧性甩开最强基线 R-KV 达 22.24 个百分点。这证明当显存资源被极限挤压时，区分“休眠”与“完结”是维持 Agent 基本智能水平的生死线。

2. 显存开销与实际推理延迟

除了精度表现，KV 压缩最根本的诉求是降本增效。论文在 GAIA、xbench-DeepSearch 与 GPQA 三大高难度测试集上统计了端到端物理显存与单样本耗时。

在 2048 Token 预算下，由于 CommitKV 能安全移出大量陈旧的高维状态，而没有引入沉重的前向重算，其表现出惊人的加速效果：

峰值 KV 显存占用：最高实现了 5.00 倍的显存空间压缩。这意味着原本只能勉强维持并发量为 1 的显卡，现在能够承载更多并发 Agent 实例。
端到端执行延迟：相比完整保存历史缓存引发的自注意力计算灾难，CommitKV 在整条多轮执行链路中取得了最高 5.62 倍的端到端执行提速。

这种双向增益打破了“做细粒度管理就会拖慢系统调度”的刻板印象，表明轻量级的特征删除闭式解与成对比较，在大吞吐服务引擎中完全具备极高的实用价值。

消融实验：层层剥离下的机制有效性

为了证实 CommitKV 性能并非源于巧合，研究人员在 Qwen3-14B（4096 预算）上开展了严谨的消融实验，分别摘除核心模块观察系统衰退：

移除生命周期机制（w/o Lifecycle Mechanism）：若彻底倒退回传统的单轮剪枝逻辑，平均准确率直接从 48.04% 骤跌至 40.68%，下跌超过 7.3 个百分点，充分坐实了静态快照机制在智能体场景下的系统性缺陷。
仅看提交后状态（w/o Pre-Commit State）：若只根据提交后的单边低分（$L_c^+=1$）直接判定淘汰，平均准确率下跌至 45.30%。这直接证实了休眠信息与完结信息在提交后都会呈现低分，缺失了提交前的高分参照，系统必然会误伤休眠记忆。
移除百分位校准（w/o Percentile Calibration）与移除联合校验（w/o Joint Validation）：二者分别导致平均准确率下降 5.08% 与 5.11%。前者说明单一绝对门限无法适应不同网络层在表征尺度上的方差；后者证明多页同时卸载时的误差累积必须在数学上予以拦截。
移除过渡保护（w/o Transition Protection）：平均精度发生 6.52% 的显著滑坡。这清晰地揭示了异步系统的调度风险——那些刚刚产生、还未及在下一轮检验的新信息，一旦被普通淘汰器提前扫地出门，整个生命周期链条便会彻底断裂。

结语与行业启示

长上下文与多轮智能体是当前大模型落地最受瞩目的方向，但硬件显存墙与二次方注意力开销依然是悬在工业级落地头顶的达摩克利斯之剑。过去学术界将大部分精力放在“优化单步注意力分布”这类偏底层的通用算法上，忽视了 Agent 本身具有强烈的状态机属性。

CommitKV 给出的核心启示在于：系统级与架构级的状态感知，比单纯从张量中硬算相关性更为高效。工具调用和环境交互是 ReAct 范式的原生特征，将其转化为 KV 缓存生命周期的“提交断点”，用极低的特征监控代价完成了精准的角色判定。

这种“让算法适应 Agent 业务逻辑”的解题思路，为后续长期记忆管理、跨会话上下文沉淀以及轻量化推理引擎的设计打开了全新通道。当大模型从“被动问答的聊天机”彻底演变为“主动执行的主动体”时，底层的系统软件与缓存架构，也正迎来由表及里的认知升级。