PEEK:为大模型Agent装上“上下文地图”,长文本成本直降5.8倍
PEEK: Context Map as an Orientation Cache for Long-Context LLM Agents
当前,大语言模型(Large Language Model, LLM)Agent正频繁游走于海量且固定的外部数据中。
ArXiv URL:http://arxiv.org/abs/2605.19932v1

论文原图:用于辅助理解核心方法或实验结果。
无论是数万条用户反馈语料库,还是庞大复杂的企业级代码仓库。
面对同一数据源的反复查询,现有系统的表现却像在不断经历“系统重启”。
它们要么在冗长的对话记录中迷失,要么仅仅依靠被动的切片检索获取原始信息。
哪怕是最先进的提示词学习技术,积累的也往往是任务执行策略,而非对数据本身的认知。
这里存在一个致命的空白:系统缺少一种轻量、可复用的“方向性缓存”。
为了填补这一空白,麻省理工学院与斯坦福大学的研究团队联合推出了全新系统PEEK。
该系统通过在Agent的提示词中维护一个体积恒定的“上下文地图”,彻底改变了长文本处理范式。
它不仅在长文本推理任务中将准确率提升最高34.0%,更在大幅减少迭代次数的同时,将交互成本降低了1.7至5.8倍。
images/page_0_Figure_5.jpg
破局架构:构建认知的“L1缓存”
如果将庞大的外部上下文比作计算机的“主存”,那么Agent现有的查阅方式就像是每次都强行遍历整个内存空间。
PEEK的破局思路,是为Agent配备一个专属于认知的“L1缓存”。
这是一个常驻于提示词内部、大小严格固定的结构化视图,赋予模型对全局环境的持久洞察力。
不同于底层的KV缓存优化(前者压缩的是Token状态),上下文地图的价值来源于语义层面的精心编排。
它不会被环境存储吞噬,而是随着交互的深入而不断进化。
images/page_3_Figure_0.jpg
那么,这个“L1缓存”究竟该装些什么?又该如何动态维护?
该研究设计了一套完全可编程的缓存策略,通过三大核心模块确保地图的高效运转。
地图剖析:从白板到结构化知识库
为了保证缓存的可用性,地图被严谨地划分为若干关键区域。
包括用于宏观导航的“上下文路线图”、确切数值的“领域常数”、派生计算的“可复用结果”,以及界定格式的“解析模式”等。
这些区域在初始状态下几乎是一块白板,仅有基础表头。
研究团队刻意避免了人工预填充,因为PEEK的核心原则是通过实际交互自动捕获知识。
images/page_3_Figure_5.jpg
正如上图所示,当Agent完成初步查询后,地图会生成带有稳定ID的结构化条目。
例如记录特定文本块的字符数和数据分布规律,让后续查询可以直接复用,免去重复探索的昂贵代价。
提炼与制图:诊断与编辑的绝对解耦
缓存的更新是由两个紧密配合却又职责分明的模块完成的。
首先是提炼器(Distiller),它充当诊断专家的角色。
提炼器负责从Agent执行时的推理信号和历史轨迹中,嗅探出具有强迁移性的上下文规律。
随后,制图师(Cartographer)接手这些发现,将松散的洞察转化为精准的结构化编辑指令。
为何必须将知识提取与缓存编辑强制分离?
如果将两者合并为单一操作,特定任务的局部事实极易污染全局缓存。
这将导致地图更新充满噪音、产生大量重复,甚至覆盖掉来之不易的稳定条目。
分级淘汰:严守Token预算红线
既然是缓存,就必然面临容量瓶颈。系统为地图设定了绝对的Token预算上限 $B$。
淘汰器(Evictor)通过严格的优先级机制来执行预算约束。
一旦地图体积触达上限,系统会依据提炼器累计的评分进行升序淘汰,分数越低越先出局。
若出现同分情况,则优先清理陈旧条目。
更有趣的是淘汰层级的设定:解析模式首当其冲,随后是可复用结果和领域常数。
而关乎全局理解的“路线图”则被置于最高保护级别,坚守到最后一刻。
核心实验印证:性能与成本的双重突围
为了验证PEEK的极限,研究人员选取了两大极具挑战性的长文本场景。
涵盖了需要整合分布式证据的长输入推理与聚合任务(如OOLONG基准),以及要求跨任务应用新知识的上下文学习任务(如CL-bench)。
超越SOTA的压倒性优势
在所有基准测试中,PEEK均展现出统御级的表现。
与当前最先进的智能体上下文工程(Agentic Context Engineering, ACE)框架相比,PEEK不仅质量更优,且极其经济。
在OOLONG基准上,PEEK取得了+7.8%至15.0%的性能超越。
在CL-bench的细粒度评分标准准确率上,更是实现了+9.9%的显著提升。
更关键的是效率:ACE在每次查询时都要调用完整的在线自适应机制,而PEEK仅需在最初的 $m \le 4$ 次运行中更新地图。
这使得PEEK在大幅削减93到145次迭代的同时,依然稳居性能榜首。
跨越底座与Agent的强泛化力
卓越的系统设计不应沦为特定模型的附庸。
当研究人员将基础模型替换为前沿的 GPT-5.5,或是开源的 Qwen3-Coder-Next-FP8 时。
在不修改任何底层算法与提示词的前提下,PEEK依然带来了稳定的性能飞跃。
不仅如此,当骨干Agent被整体替换为工业级代码Agent OpenAI Codex 时。
增益幅度不仅没有衰减,反而由于生产环境对全局结构的渴求而变得更为显著。
消融剖析:设计抉择的量化支撑
系统的每一环设计,都在消融实验中得到了数据支撑。
当关闭淘汰机制,让地图在触达预算 $B$ 后强行冻结时。
静态缓存依然大幅优于无缓存基线,但缺失动态淘汰会让系统损失平均10.2%的潜在增益。
若将提炼器与制图师合并为单次大模型调用,整体性能将不可逆地滑落7.7%。
在测试不同缓存容量时,无论 $B=512$ 还是 $B=2048$,系统均表现优异。
这强有力地证明了:对于认知缓存而言,核心在于“从无到有”的结构建立,而非单纯的容量堆砌。
局限审视与工程启示
尽管PEEK在长文本交互中开辟了全新路径,但研究也客观揭示了其机制的局限性。
上下文地图的最终价值,深度绑定于Agent本身的探索深度。
如果一个Agent在交互时总是浮于表面,未曾触及数据深层的结构与规律,那么地图也就成了无源之水。
这就意味着,针对不同行为模式的Agent,开发者可能需要微调缓存策略所侧重的知识维度。
从工程落地的宏观视角来看,PEEK提供了一个极具前瞻性的架构范式。
它明确厘清了“模型级状态压缩”与“Agent级语义沉淀”的边界。
对于饱受长文本Token计费困扰的开发者而言。
将传统的KV缓存优化视作底层的“硬件加速”,将PEEK视作上层的“认知索引”。
两者正交互补,或将成为下一代企业级大模型基建的标配方案。