APS-RAG：阿贡实验室大科学装置混合检索系统，去重排关键召回跌32.8%
A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility
大型科研基础设施（如先进光源、高能对撞机、超导托卡马克）往往持续运行数十年，内部沉积了极其庞大且碎片化的工程运营知识。从值班运行人员随手记录的电子日志（Logbook）、设备维护工单、群聊排障记录，到受控的技术规范报告，甚至是控制系统中正在高频波动的实时过程变量（PV），没有任何单一的信息系统能够统一索引这些跨越数十年的异构数据。当突发束流丢失或硬件故障发生时，排障方案往往埋藏在几年前的某篇非结构化维修记录中，新人难以检索，而老专家的隐性知识又随着人员轮转与退休加速流失。
ArXiv URL：https://arxiv.org/abs/2607.24663v1
针对美国阿贡国家实验室（Argonne National Laboratory）先进光子源（APS）面临的这一典型困境，研究团队开发并实地部署了名为 APS-RAG（Advanced Photon Source Retrieval Augmented Generation）的纠错型 Agent 混合检索系统。该系统不仅连接了 9 个跨越静态文档与动态控制流的数据源，更通过引入严谨的可溯源基准测试 APS-Bench 与细粒度评测机制，首次在大科学工程落地场景下给出了详尽的消融结论：完整的 Corrective Agentic GraphRAG 将关键信息点严格召回率（Strict Vital-Nugget Recall）从传统基线 BM25 的 63.8% 提升到了 70.3%。然而，更具启发性的发现是其内部的组件贡献度差异——扮演“定海神针”角色的并非热门的复杂知识图谱或多轮 Agent 纠错循环，而是传统的交叉编码器（Cross-Encoder）重排器；一旦舍弃 Cross-Encoder 并直接让大语言模型进行相关性打分，关键信息的严格召回率将大幅暴跌 32.8%。这项工作为高可靠工程环境下的 RAG 架构设计提供了非常现实的技术参照。
科学装置知识管理的痛点与数据底座重塑
大科学装置的运转知识形态与传统企业知识库存在本质差异。在 APS 的日常运行中，数据异构性极高。例如一次突发的束流丢失事件，运行人员最初在 BELY 电子日志中记录故障现象；而诱发该故障的子系统异常，可能早在几天前就作为维护工单（Work Request）录入了工单库；其根本排障方案散落在具体子系统维护人员维护的内部 Wiki 页面；相关的设备技术指标存放在集成内容管理系统（ICMS）的受控文档里；而现场磁铁电流与射频腔相位的实时设定值，又只能通过 EPICS 归档系统直接读取实时控制变量。
面对多达 9 个数据孤岛，APS-RAG 在底层构建了一套兼顾静态历史沉淀与动态运行流的标准化摄取流水线。该系统涵盖了 BELY 科学日志、ICMS 受控技术文档、维护工单系统、微软 Teams 运维讨论记录（配有专门的 OCR 截图解析流程以还原会话上下文）、MCR 停机专门记录、SDDS 软件工具链文档以及操作员应用代码库等。对于不断产生的新记录，系统采用基于内容哈希比对的每日增量更新（Diff & Upsert）机制，仅对变更条目更新稠密向量库、倒排索引及知识图谱，避免了全量重构的算力浪费。
更关键的技术设计在于其采用的父子两级分块索引架构（Parent-Child Indexing）。为了解决检索颗粒度与生成上下文完整性之间的天然矛盾，系统将原始文档切分为具有完备上下文的“父级单元”，并在子级进行字符级递归切分，且为每个子块自动前置包含文件 ID、文档标题与创建日期的元数据头部。当检索发生时，密集与稀疏检索均在细颗粒度的子块上计算，但在最终送入大模型生成阶段时，系统会自动召回其所属的父级完整语境。这有效规避了大模型因片段断章取义而引发的幻觉问题。
三路混合检索与自适应排序融合机制
从用户键入自然语言开始，APS-RAG 会先经过一层细致的查询预处理。这一阶段负责解析绝对或相对时间窗口（例如将“上周”自动转译为具体的工况运行排班日期）、展开专业缩略词、补全工程术语同义词，并生成 5 个维度的多查询变体（Multi-query generation），以此应对加速器物理工程中充斥的大量黑话与缩写。
随后，查询会被分发至三条互补的检索通道：
-
密集语义检索通道：采用在跨领域零样本场景下表现出色的
e5-large-v2模型生成 1024 维向量，依托 Qdrant 向量数据库处理同义改写和宽泛的语义匹配需求； -
稀疏关键词检索通道：利用 Elasticsearch 的 BM25 算法保障对特定硬件标号的精准命中。在大科学工程中，诸如
LTS:H1:CurrentAO或S-DCCT:CurrentM这样的过程变量名称、特定扇区编号与机柜代码具有极高唯一性，通用向量模型极易将其表征平滑化，而 BM25 能够精确捕捉此类硬匹配信号； -
知识图谱检索通道：借助离线抽取的 Neo4j 拓扑网络，利用图遍历探索实体间的结构化关联。
多路召回的候选文档通过查询类型自适应的互惠排名融合（Query-Type-Adaptive Reciprocal Rank Fusion, RRF）进行打分合并。给定通道 $c$ 中文档 $d$ 的排位 $r_c(d)$，其融合得分表示为：
\[\mathrm{RRF}(d)=\sum_{c}\frac{w_{c}}{k+r_{c}(d)},\qquad k=60\]系统根据意图识别分类器动态调整不同通道的权重 $w_c$。例如针对排障和多跳因果诊断问题，图谱通道与稀疏通道被赋予更高权重；针对宽泛的概念解释，稠密向量通道则占主导。
紧随融合之后的是整个流程中至关重要的环节——交叉编码器重排（Cross-Encoder Reranker）。每路通道初筛召回 Top-100 候选，融合后截取 Top-50 送入 Cross-Encoder，由其对查询和段落进行深层的双向交互注意力计算，重新校准最终进入上下文窗口的最高优先级段落。
面向物理排障的纠错循环与 MCP 工具集成
为了应对复杂的跨系统排障场景，APS-RAG 并没有止步于单次检索-生成管线，而是依托 LangGraph 状态机搭建了带有自我批判评估门的纠错型 Agent 循环（Corrective Agentic Loop），并在前台提供针对不同场景的交互模式切换。在“思考模式”（Thinking mode）下，系统生成草稿答案后，纠错评估器会对其进行量化打分：
\[s = 0.4\,\rho + 0.3\,g + 0.3\,c - 0.05\,n_{\text{KG}}\]其中 $\rho$ 代表检索段落与用户查询的综合相关度，$g$ 为基于模型生成的答案忠实度与幻觉惩罚项，$c$ 为关键事实点的支撑覆盖度，而 $n_{\text{KG}}$ 则是对无节制引入外围图谱跳数的稀释惩罚。若综合得分低于预设阈值，或者检索到的文档中超过半数未能通过相关性审核，控制流将强制打回规划器（Planner），自动放大或改写检索策略，开启下一轮迭代（生产环境硬性限制最多重试 2 轮以兼顾延迟）。
除了处理离线文本，运行人员经常需要将历史文档与当前物理实体的状态进行交验。为此，APS-RAG 引入了基于 Model Context Protocol（MCP）的工具层，通过原生工具调用的 ReAct 范式打通现实环境。系统挂载了 4 类 FastMCP 服务：
-
控制归档工具（Archiver）：直接按时间戳与变量名拉取 EPICS 过程变量的实时或历史曲线；
-
图谱遍历工具（Graph）：动态执行 Cypher 语句寻找故障传播链条；
-
代码计算工具（Compute）：针对“2026年针对特定踢极铁（kicker）提交了多少次维修工单”等统计查询，现场生成 Python 代码查询分析；
-
图像检索工具（Image）：关联调取历史维修中记录的设备现场照片与原理图。
整个工具执行池常驻会话，消除了频繁冷启动连接索引的延迟，使大语言模型能够将静态知识与毫秒级更新的机器物理读数无缝结合，直接输出带有实时状态确认的排障建议。
从故障链知识图谱到严苛的基准构建
为了应对加速器故障溯源中“症状-诱因-处置-复原”这一高度依赖工程师经验的多跳链条，研究团队抽取了涵盖 96,517 个节点与 84,222 条关系的专用知识图谱。图谱定义了 Fault、Component、System、LogEntry、WorkRequest 等 14 种实体类型，并建立 CAUSED_BY、RESOLVED_BY、FOLLOWS_PROCEDURE 等关系。这使得系统在回答诸如“束流丢失诱因”的复杂诊断时，能够从日志条目出发，跨系统遍历到早先登记的硬件微小扰动工单，还原出完整的故障因果链路。
为了摆脱传统评估中仅依赖无监督指标或人工定性打分的局限，研究团队遵循 InPars 方法论构建了专用基准集 APS-Bench。如图所示，测试集由大模型基于真实历史记录切片进行问题提炼，并结合专家校准，生成了 50 组带有明确审计基准答案（Auditable Gold Answers）的高质量 QA 对，覆盖了简单事实检索、时间跨度统计、故障因果排查与多跳逻辑推导等不同难度区间。
评估指标跳出了粗糙的整体准确率，采用了更为微观的“关键信息金块严格召回率”（Strict Vital-Nugget Recall）。具体而言，基准答案被细拆为不可分割的事实核（Nuggets），只有当生成的解答严格且准确地复现了该核心要点及其限定语境，并不带虚假声明时，才被判定为命中。这种评估体系对工业级落地至关重要：在粒子加速器运行中，一个看似语法通顺但把停机时长或电流阈值答错的回答，其破坏性远大于直接拒答。
实验结果与反直觉的消融发现
在 APS-Bench 的严格测试下，各检索模块的表现呈现出极其鲜明的技术分化。基线单纯使用 BM25 检索时，严格关键信息召回率为 63.8%。引入包含密集向量与 BM25 的混合架构后，指标稳步上升；而在启用全部特性的 Corrective Agentic GraphRAG（全配置系统）下，该召回率最高达到了 70.3%。
然而，伴随消融实验深入展开的一系列数据，打破了许多开发者对于“前沿复杂模块必定贡献最大”的技术直觉：
首先，交叉编码器重排（Cross-Encoder Reranker）是整个架构的核心支柱。实验表明，如果将专用的 Cross-Encoder 移除，转而遵循业界某些轻量化做法让 LLM 自身来充当重排打分器，系统的信息召回表现不仅没有维持，反而出现了灾难性溃败——严格关键信息召回率骤降 32.8%（95% 置信区间 $[-47.4\%, -19.1\%]$；显著性 $p < 10^{-4}$）。这一结果强力证明：在专有名词密集、技术语法简略的极端工程语料下，通用大语言模型对细颗粒度相关性的辨别力并不能替代专有重排模型。
其次，知识图谱与纠错循环带来了增益，但属于高成本的“边际改善”。尽管 Neo4j 拓扑网络和 LangGraph 纠错循环在处理因果多跳诊断（如重构束流丢失历史事件）时提供了关键的实体逻辑链路，但在整体关键事实召回指标上，它们带来的提升幅度远小于引入混合检索和重排器带来的跃迁。考虑到多轮 Agent 自我批判反思会成倍增加系统响应时间与 Token 成本，在 APS 的实际部署中，团队将单次混合流作为默认的“快速模式”（Fast Mode），而将包含图谱回溯与纠错循环的完备管线置于“思考模式”（Thinking Mode），供工程师在复杂疑难杂症排查时按需启用。
此外，研究人员还对比了最终答案合成阶段开源与闭源前沿模型的差异。在保障相同上下文的前提下，参数量顶尖的专有模型（如通过实验室私有安全网关调用的 GPT 系列）在严格信息还原、遵循行内直接溯源引用格式（如直接标注 BELY_ID、WRQ_ID）以及控制未经验证断言方面，依然显著优于中小型开源模型。
对工程化 AI 落地的现实启示
阿贡国家实验室通过 APS-RAG 的落地实践，向业界展示了大模型进入尖端工业与科研基础设施操作层时的清晰图景。这项工作之所以具有参考价值，不仅在于它打通了从老旧数据库到实时控制系统（EPICS）的复杂技术链路，更在于其客观揭示了各项热门 RAG 技术的真实投入产出比。
在追求架构创新的当下，许多系统设计往往倾向于堆叠愈发复杂的自主 Agent 逻辑与多层知识图谱结构，却忽视了传统信息检索组件的基本功。APS-RAG 用经过严格统计验证的生产数据表明，在工业及科研排障这种容错率极低的硬核领域，稳健的多路召回、高精度的交叉编码器重排、严格的父子分块策略与确定性的行内引用验证，才是托起系统可用性底线的基石。而纠错 Agent 与知识图谱则更适合退守为特定疑难任务的高阶外挂。
目前，APS 团队已将 APS-Bench 基准构建方法论、六层评测工具链以及 /aps-rag 检索代理框架全面开源。这套将权威文档、现场工单与实时控制变量交织解析的范式，不仅为先进光源的稳定运转提供了数字化知识护城河，也为全球其它大科学装置、重工业产线及高精密科研实验室的智能化运维，勾勒出了一条务实可行的技术路径。