ACM：CMU提出自主无损上下文管理，Agent长程搜索提升27%
ACM: Agentic Context Management for Long Horizon Tasks
在大型语言模型（LLM）驱动的自主智能体（Agent）研究领域，长程任务始终是一个难以逾越的物理与认知双重瓶颈。当智能体在真实环境中执行复杂的网络搜索或代码编写任务时，它们不可避免地会与环境进行多轮交互。这些交互会产生海量的上下文——冗长的工具调用返回结果、多次尝试失败的报错信息、以及智能体自身的中间推理轨迹。这些信息迅速堆积，即使是名义上支持百万级别上下文窗口的最前沿模型，也会在这些充满噪声的历史记录中迷失方向，导致推理能力急剧下降。
ArXiv URL：https://arxiv.org/abs/2607.23809v1
面对这一困境，行业内此前的常规解法往往陷入两个极端：一是通过底层架构层面的长上下文预训练或混合注意力机制来强行扩展窗口上限，但这不仅带来了高昂的计算成本，而且在实际长程推理中依然表现出明显的性能衰减；二是通过外部硬编码的启发式规则进行上下文压缩。例如，当上下文占用率达到设定的90%阈值时，系统强制触发一个摘要模块，将过往历史截断或折叠。然而，这种基于固定规则的压缩往往与智能体自身的推理节奏完全脱节。它可能在智能体正处于某个关键逻辑推导的半途强行抹除细节，造成不可逆的信息丢失。
为了打破这种僵局，来自卡内基梅隆大学（CMU）与Meta的研究团队提出了一种全新的范式——Agentic Context Management（ACM，自主无损上下文管理框架）。这项研究不仅将上下文管理从“外部被动干预”转变为“智能体主动控制”，还通过构建高质量的后训练流水线，让模型真正内化了管理自身记忆的能力。实验结果表明，在搭载ACM框架后，智能体在复杂的长程搜索与代码任务中的表现获得了显著飞跃，其中在BrowseComp-Plus基准上的准确率相对提升高达27%。
从被动截断到自主无损管理：ACM的核心机制
ACM框架的设计灵感直接来源于人类认知的记忆机制，即短期工作记忆与长期外部记忆的协同交互。在执行复杂任务时，人类不会把所有读过的资料都堆在脑海中，而是将当前高度相关的信息保留在工作记忆里，将冗长的原始材料归档到笔记本或外部存储中，需要时再去翻阅。
研究团队认为，智能体也应当具备这种机制。为此，ACM框架彻底摒弃了外部监控器的固定阈值触发模式，转而为智能体配备了两个专门用于编辑和管理上下文的核心工具。
第一个工具是上下文管理（manage_context）。当智能体在推理过程中察觉到当前探索陷入僵局、或者收集到的信息已经足够冗长且充满重复试错时，它可以主动调用该工具。该动作会将前序所有的交互轮次压缩成一段极其精炼的摘要，并作为新的工作上下文保留。更为关键的是，那些被替换掉的原始交互记录并不会被直接丢弃，而是被无损地卸载并保存到磁盘上的外部记忆系统中。
第二个工具是记忆查询（query_memory）。由于之前的压缩过程不可避免地会将一些细枝末节的高密度信息抽象化，如果智能体在后续的推理中突然发现需要回顾某个具体的数值、某段原始的代码报错、或者某个被折叠的API返回结果，它可以随时调用查询工具，向外部存储发起检索，精准提取所需的原始信息。
这种设计的精妙之处在于实现了真正的“无损（Lossless）”与“自主（Agent-initiated）”。与以往只能进行有损摘要压缩的基准方法（如ReSum或ACON）不同，ACM保留了所有原始数据；与完全依赖外部脚本强行截断的框架相比，ACM将“何时压缩”的决定权完全交还给了智能体的大脑，使其能够根据当前任务的逻辑进展动态调整有效上下文。
跨越能力鸿沟：双重约束的后训练流水线
尽管ACM的工具设计在理论上极为优雅，但研究团队在初步实验中发现了一个残酷的现实：即便是目前最前沿的基础模型，在没有经过专门训练的情况下，也几乎不具备主动管理上下文的意识。它们习惯于顺着历史记录一直往下生成，直到撞上上下文窗口的物理上限而崩溃，极少会主动停下来审视并清理自己的“工作台”。
为了让模型真正掌握这项元技能，CMU的研究者设计了一套极具创新性的双重约束师生架构（Teacher-Student Dual-Constraint）数据生成与后训练流水线。这套流水线的核心目标不仅是教导模型“何时应该使用上下文管理”，更重要的是教导它“何时不该滥用上下文管理”。
整个流水线分为两个关键阶段。在第一阶段（学生模型推演），研究团队使用Qwen3.5-9B作为学生模型，在长程任务基准上进行两次不同条件下的轨迹推演：一次是不带任何上下文管理工具的纯粹探索（即普通的ReAct模式），另一次是提供ACM工具但任由其以未经训练的状态进行探索。这两种状态分别捕获了模型在自然状态下的信息过载轨迹和低效工具使用轨迹。
进入第二阶段后，一个拥有更强推理能力的教师模型（Qwen3.5-397B-A17B）介入，对学生模型生成的冗杂轨迹进行深度复盘与标注。教师模型配备了标准答案作为参考，但其任务并非直接泄露答案，而是根据标准答案审视学生的推理路径。在这里，研究团队施加了精妙的双重约束：
一方面，针对学生模型未使用工具的臃肿轨迹，教师模型需要精准定位那些“无意义的循环试错”或“信息已明显过载”的节点，在这些位置强行注入调用上下文管理工具的动作示范。
另一方面，针对学生模型可能胡乱调用工具的轨迹，教师模型需要识别出那些“本该继续深入搜索”或“其实已经可以得出最终答案”却错误触发压缩的节点。在这些位置，教师模型会将上下文管理动作替换为更合理的搜索或作答动作。
为了确保生成的监督数据具备极高的质量，研究团队引入了严格的过滤机制。他们仅保留学生模型最初未能成功解决的困难任务轨迹，确保模型学习到的是真正具有挑战性的上下文压力应对策略。同时，内容过滤器会强制要求教师模型在标注时，必须基于轨迹的结构特征（例如“已经发起三次相同的查询”或“连续报错”）来解释压缩的理由，而绝对不能利用开了上帝视角才掌握的答案特征。这种严苛的过滤促使学生模型学会识别需要压缩的通用模式，而不是死记硬背特定任务的线索。
最终，通过对这些高质量标注数据进行策略上的知识蒸馏（On-policy Distillation），学生模型不仅学会了在上下文即将爆炸前主动踩下刹车，还学会了避免过度依赖压缩而中断正常的推理链条。
实验结果分析：能力与稳定性的全面跃升
在经过这套双重约束流水线的后训练之后，搭载ACM框架的模型在多个主流长程Agent基准测试中展现出了令人瞩目的性能跃升。研究团队在 BrowseComp-Plus（复杂网页浏览与搜索）、DeepSearchQA（真实环境下的深度多跳问答）以及 SWE-Bench Verified（真实软件工程代码修复）三个极具挑战性的数据集上进行了全面评估。
实验数据清晰地揭示了ACM带来的多维度增益。在 BrowseComp-Plus 基准上，经过 ACM 专属数据后训练的 Qwen3.5-9B 模型的首次尝试准确率（Pass@1）相较于标准的 ReAct 基线实现了 27% 的惊人增长，这一成绩甚至逼近了体积是其40倍的开源巨型模型。在完全分布外的 DeepSearchQA 任务中，准确率同样提升了 16%，而在以难度著称的代码修复任务 SWE-Bench Verified 中也录得了 8% 的稳健提升。
然而，除了绝对准确率的提升，研究团队的进一步分析揭示了更为深刻的机制变化，这些变化解释了ACM为何能够如此有效。
首先是峰值Token压力的断崖式下降。在传统的ReAct模式下，上下文消耗呈现单调递增的线性爆炸趋势；而在固定阈值触发的基线方案（Summary Agent）中，虽然上下文被强行压制，但这种毫无逻辑关联的腰斩往往破坏了推理连贯性，导致为了找回丢失信息而产生更大的后续消耗。相比之下，ACM智能体展现出了一种健康且极具节奏感的“锯齿状”上下文增长曲线。由于智能体能够根据自身推理状态主动触发压缩，并在必要时精准查询外部记忆，整个交互过程中的平均峰值Token消耗被削减了约20%。这对于实际的工程部署意义重大，它极大地缓解了服务器端KV Cache的显存压力，使得在有限资源下并行运行更多智能体成为可能。
其次是探索深度的显著延展。在面临极其困难的多约束任务时，基础模型往往在几十个轮次后就会因为上下文被撑爆而被迫放弃任务。但ACM框架下的智能体，由于能够持续维持一个极度干净、紧凑的工作记忆区，使得它能够支撑远超平时的交互轮次。数据表明，ACM-Post-Trained 智能体发起的搜索工具和文档获取工具的调用次数冠绝全场。这种持续、深入的探索能力，正是解决那些需要反复试错的长程任务的核心密码。
更具启发性的是研究团队对于模型“能力边界”与“表现一致性”的深度解构。作者在论文中引入了 Pass@4 与 Pass4 两个指标的对比分析。Pass@4 衡量的是“在四次独立尝试中，只要有一次成功就算成功”，它代表了模型的绝对能力边界；而 Pass4 衡量的是“四次独立尝试必须全部成功”，它代表了模型输出的稳定性和一致性。
在标准的不带上下文管理的基线模型中，这两个指标之间存在着巨大的鸿沟。模型偶尔能凭借运气在某次尝试中碰巧避开了上下文中的噪声干扰从而得出正确答案（Pass@4较高），但它的表现极其脆弱且不稳定，在大多数时候依然会被冗长的错误轨迹带偏（Pass4极低）。而当引入 ACM 后，虽然 Pass@4 也有所提升，但真正迎来质变的是 Pass4 指标。这充分说明，自主上下文管理最大的战略价值，不仅在于让模型偶尔能解决更难的问题，更在于它通过提供清晰、无噪声的思考环境，彻底消除了长程推理中因历史包袱带来的随机性失败，让智能体从一个“偶尔灵光一现”的系统，变成了一个高度可靠、输出一致的生产力工具。
对纯蒸馏路径的反思与未来启示
在消融实验部分，研究团队还回应了一个学术界普遍关注的疑问：既然教师模型如此强大，我们是否只需要用GPT-4级别模型生成的成功轨迹来进行常规蒸馏就足够了？还需要专门构建上下文管理的数据吗？
结果给出了否定的答案。当仅仅使用强大模型进行普通任务蒸馏时，虽然学生模型在基础代码能力上有所增强，但在依赖海量信息筛选的搜索任务上，甚至出现了性能倒退。这是因为纯粹的任务蒸馏只传递了“如何解题”的表层逻辑，却完全没有传授“如何管理注意力与内存”的底层内功。只有当专门的ACM数据与任务蒸馏相结合时，模型才达到了最佳的综合表现。这种能力的互补性有力地证明了，上下文管理是一项独立于基础推理能力之外的特殊元认知技能。
卡内基梅隆大学与Meta的这项联合研究，实质上重新定义了LLM时代上下文的角色。在过去很长一段时间里，研究者们倾向于将上下文窗口视为一个被动的“物理容器”，所有的努力都集中在如何将这个容器打造得更大。而ACM的出现则宣告了一种认知视角的转移：上下文不应仅仅是一个被填满的桶，它应该是一个智能体可以主动打扫、整理并进行精细化操作的“工作台”。
通过赋予智能体主动编辑历史、卸载冗余并随时回溯的能力，Agentic Context Management 为真正走向现实世界的长生命周期自主智能体铺平了道路。在未来，衡量一个智能体是否强大的标准，或许不再是它能一次性吞下多少百万的Token，而是它能否像人类专家一样，在面对信息洪流时，从容不迫地进行断舍离与精准提取。