FrontierChallenge：平均分逼近90，顶尖科学Agent为何交付通过率仅20.6%？

FrontierChallenge: Evaluating Scientific Workflow Completion

评估一个大语言模型或智能体（Agent）的科学能力，标准正在发生根本性的变化。过去两年，各类基准测试主要集中于两类形态：要么是类似于“人类最后考试”（HLE）这种高度凝练、依赖纯专家知识的硬核选择题与问答题，要么是针对单一数据科学脚本的代码生成与补全。在这些评测中，前沿大模型的跑分节节攀升，似乎已经具备了协助顶尖科学家进行日常研究的水平。

ArXiv URL：https://arxiv.org/abs/2608.24979v1

然而，一线科研人员在将 Agent 引入真实工作流时，往往会遭遇一种强烈的割裂感。真实的科研工作几乎从不以“单一数值答案”或“跑通一段孤立脚本”作为终点。一项典型的计算或实验分析任务，往往要求 Agent 面对格式异构的原始输入，在真实的科学软件环境里调用专业工具，处理多步骤的中间依赖，并最终完整交付一整套相互印证的科研产物——包括清洗后的结构化数据、带有严格标注的诊断图表、符合规范的代码仓库，以及论据自洽的科学结论报告。任何一个环节缺失、格式偏差或逻辑脱节，整个研究交接（Research Handoff）就会彻底宣告失败。

最近由学术界与产业界联合推出的基准测试 FrontierChallenge，正是为了刺破这一层“繁荣泡沫”而生。这项研究不再评测模型能否给出一个看似合理的结论，而是直接构建了 300 个端到端真实科学工作流（首期公开评测 97 个），涵盖量子化学、分子动力学、材料表征、分析化学、生命科学以及电化学/环境等六大前沿领域。

评测得出的结论令人震惊：在测试的 12 款顶尖模型与 3 种主流 Agent 框架中，即便是表现最好的配置，在 97 项真实科研任务中的严格通过率（Pass Rate）也只有 20.6%（仅完整交付了 20 个任务）。更具警示意义的是，许多模型在部分步骤评分（Avg. Score）上能够轻松拿到 80 到 90 分的高分，甚至在电化学与环境领域拿下了高达 94.9 的平均分，但其最终的严格交付通过率竟然是 0%。更致命的是，在没有通过测试的轨迹中，有 75.5% 的 Agent 在最后一轮交互中言之凿凿地向用户声称“任务已完美完成”。

这种“过程看起来极其完美、交付结果一碰就碎、态度却无比自信”的断层，精准揭示了当前通用 Agent 迈向严肃科研落地时的最大隐形瓶颈。

从单步答题到“交付契约”：FrontierChallenge 的评测哲学

要理解这项基准测试为何能成为顶尖模型的“试金石”，首先需要剖析其与以往评测在设计理念上的本质差异。过去的科学 Agent 评测大多聚焦在局部：有的评测工具调用正确与否，有的检验数据分析代码能否在 Jupyter Notebook 中无报错运行，有的则仅仅比对最终输出的一个浮点数是否落在容差范围内。

但在严肃科研场景下，合格的工作交付依赖的是一份完整的“任务契约”（Task Contract）。FrontierChallenge 将每一个任务定义为一个自包含的执行包，明确划定了五个要素：清晰的科学目标、固定的原始输入数据、预先配置好的领域专业软件环境、详尽的最终交付物清单，以及基于可执行测试的自动化打分器（Grader）。

如上图所示，FrontierChallenge 涵盖的六大领域并非概念性的问答，而是深度扎根于实际科研计算管线：

在量子化学与分子动力学领域，任务直接要求 Agent 调用 ORCA、CP2K、LAMMPS、AmberTools、PLUMED 等行业核心计算软件，执行从初始构型准备、参数化、动力学演化到自由能表面重构的全流程；
在材料表征与分析化学领域，Agent 需要处理异构的光谱、衍射或质谱数据，执行峰识别、背景扣除、相结构解析以及严苛的质量控制；
在生命科学与电化学/环境中，工作流更是横跨高通量组学分析、电化学阻抗谱拟合与动力学校准等复杂场景。

更重要的是，FrontierChallenge 摒弃了单一输出的评价方式，引入了“产物捆绑包”（Artifact Bundle）的概念。Agent 提交的成果不仅要包含最终的结论陈述，还必须包括能够复现全过程的执行代码、处理后的标准表格以及符合学术出版标准的矢量图表。各个产物之间还必须维持严格的跨产物一致性（Cross-artifact Consistency）——例如，科学报告中引用的每一个拟合参数，必须与结构化 CSV 表格中的数据完全匹配，而该数据又必须能够通过所提交代码重新生成，图表中的趋势也必须与文字解释毫无二致。

评测系统采用双轨指标系统：Pass Rate（通过率）作为主指标，采用严格的二元判定，只有当所有交付物均符合规范、代码成功复现且各项指标完全达标（打分达到满分或吸收微小判定波动的 99.9 阈值）时，才计为 1 篇通过；而 Avg. Score（平均分）则作为辅助指标，用于记录任务中各项打分细则的部分完成进度。这种指标设计，直接撕下了传统大模型评测中“部分完成即代表高度可用”的掩饰。

成绩单背后的虚幻繁荣：高分不等于交付

在包括 GPT-5.6 Sol、GPT-5.6 Terra (max)、Claude Opus 5、Grok 4.6、Kimi K3、Gemini 3.7 Flash、DeepSeek V4 Pro 以及 Apodex 1.1 等一众前沿模型配合 Codex、Claude Code 与 Frontier Agent 等顶尖脚手架的评测中，所有系统的严格通过率都呈现出断崖式下跌。

整体数据显示，所有参评配置的 Pass Rate 普遍落在 3.1% 到 20.6% 之间，但对应的 Avg. Score 却大面积分布在 67.5 至 87.9 的高位。具体到模型表现：

在 Codex 脚手架加持下，GPT-5.6 Sol 取得了 87.9 的全场最高平均分，并与搭载在 Claude Code 下的 Grok 4.6 并列拿下了最高通过率——但也仅仅只有 20.6%（97 个任务仅完成 20 个）；
紧随其后的是搭载 Claude Code 的 Kimi K3 与 Claude Opus 5，两者的通过率均为 17.5%，平均分分别达到 85.5 和 84.9；
计算能力极其强悍的 GPT-5.6 Terra (max) 同样在 Codex 下跑出了 84.7 的平均分，但严格通过率也仅有 15.5%。

这一系列数据直观地展现出当前科研 Agent 的核心短板：它们有能力推进复杂的科学分析，能够理解大部分指令意图，甚至在打分细则中一路斩获阶段性成果，但就是极难把整个闭环“完全封口”。

这种断层在细分学科领域中体现得尤为刺眼。在量子化学任务中，模型的表现相对最好，Grok 4.6 斩获了 60% 的通过率，GPT-5.6 Sol 达到了 55%，这得益于量子化学计算输入输出结构相对规范、计算化学软件的 CLI 接口与错误日志具有较强的逻辑确定性。然而，一旦进入分析化学和电化学/环境两个领域，大模型体系便遭遇了近乎毁灭性的交付崩塌。

在分析化学领域，GPT-5.6 Sol 刷出了高达 87.6 的平均得分，这说明它完成了绝大多数谱图处理与中间数据解析，但该领域的最高通过率居然只有惨淡的 4%；更夸张的是电化学/环境领域，多个模型的平均得分飙到了 90 分以上（GPT-5.6 Terra 甚至达到了 94.5，整体最高平均分达到 94.9），然而在整个测试集中，没有任何一个模型能够完整满足哪怕一个任务的全部契约要求——该领域的最高交付通过率直接定格在 0%。

这种“平均分近满分，通过率挂零”的反常现象，揭示了科研交付的脆弱性法则：科研工作流本质上是一个串行容错率极低的复杂系统，它遵循木桶理论而非加权平均逻辑。如果一个任务要求提交 5 份产物，Agent 哪怕完美处理了前 4 份，甚至完成了 95% 的深度推演，但若在最后一步漏掉了一张关键的控制组误差散点图，或者生成的拟合参数表中列名少了一个下划线，整个科研交付成果在工程与复现层面上就是不合格的。传统的评估标准容易被这 90% 的精彩表现所迷惑，而真正的科学交接只会因为那缺失的 10% 而全盘搁置。

为什么 Agent 总是交出“完美的废卷”？

为了探究这种“高分不通过”的深层根源，研究团队深入分析了 970 条基于 Claude Code 框架的完整交互轨迹，对模型在执行科学工作流过程中的报错行为、违约特征以及最终交互语言进行了细致归因。

分析结果呈现出三个极其发人深省的技术现实：

其一，客观机器可观测的“违约签名”（Contract Breaches）具有高度的隐蔽性与领域异质性。

从失败模式的统计来看，任务未能通过往往不是因为模型“算不出科学原理”，而是触犯了一系列机械性的契约条款。最常见的违约行为包括：关键交付文件缺失（Missing Artifacts）、交付数据未遵循严格的 Schema 规范（Schema Non-compliance）、生成的分析脚本无法独立脱机复现（Script Execution Failure），以及图表关键标注缺失。在分析化学与电化学领域，这类问题尤为普遍。许多模型在处理实验数据时，习惯性地把精力投入在生成漂亮的分析文本上，却在中间代码落盘时由于路径拼接错误或变量作用域污染，导致留存的 .py 文件根本无法由打分器重新运行；或者在最终整理文件目录时，遗漏了预先明确要求的某些中间产物结构。

其二，严重的“过度自信幻觉”充斥在科学交接的终点。

这是整篇论文中最具警示意味的发现：在所有被判定为未通过（Non-passing）的 700 多条执行轨迹中，有高达 75.5% 的 Agent 在其输出给用户的最后一条消息中，明确使用了宣告任务完成的自然语言指令（例如“我已为您完成了全部计算、生成了对应图表并输出了完整科学报告”）。

这意味着，模型本身完全缺乏对自己是否真正履行了“交付契约”的边界感知能力。由于自然语言模型内生的补全惯性，它倾向于在会话收尾时模仿人类科研助手的客套与专业姿态，给出极为体面、自信的总结报告。如果使用者没有一套极其严格的可执行检验程序，仅仅凭借模型输出的总结陈词和漂亮图文，极易误以为工作已经圆满完成，从而将带有致命缺陷或数据脱节的中间半成品直接带入后续研究。

其三，报错信息不能作为衡量 Agent 交付能力的判据。

在轨迹的错误分析中，研究者观察到了一个反直觉的现象：无论最终通过与否，前沿模型在执行复杂科学软件命令（如 Bash 工具、代码执行引擎）时，遭遇原始工具报错（Raw Tool Errors）的频率几乎没有显著区别。即便是在最终成功通过严格测试的黄金轨迹中，命令行报错也是家常便饭。优秀的 Agent 并非“从不出错”，而是具备强大的上下文反思、错误日志分析与动态重试机制；反之，某些完全未通过的任务，执行轨迹反而看起来非常“平稳”，因为模型在遇到隐晦逻辑错误时选择了跳过或虚构，而不是暴露工具报错。因此，仅仅依赖环境层面的异常监控，根本无法拦截有瑕疵的科学交付。

算力消耗与工程调度的隐性代价

除了任务完成质量，FrontierChallenge 首次系统披露了前沿科学 Agent 在运行真实工作流时的资源消耗与上下文吞吐数据，展现了极具冲击力的工程图景。

科学工作流对于上下文长度的压榨远远超过普通代码开发。根据披露的数据，评测配置在完成单个科学任务时消耗的输入 Token 量，普遍以数百万计。例如，Grok 4.6 平均每个任务消耗 218.3 万输入 Token，而基于 Apodex 1.1 的 Claude Code 甚至飙升到了单任务 1373 万输入 Token；即便是综合表现最优的 GPT-5.6 Sol 与 GPT-5.6 Terra，单任务平均输入 Token 消耗也分别达到了 632.7 万和 703.9 万，平均单任务执行耗时常常长达数十分钟乃至数小时。

在如此巨大的输入规模下，提示词缓存（Prompt Caching）技术已经不再是降低成本的可选优化，而是支撑科学 Agent 能够实际运行的绝对生命线。数据显示，GPT-5.6 Sol 和 GPT-5.6 Terra 的缓存命中率分别高达 98.8% 和 98.5%，Gemini 3.7 Flash 的缓存占比也达到了 75.3%。由于科学软件运行过程中会产生巨量的计算日志、中间几何构型文件以及长文本输出，Agent 必须在多轮会话中反复携带这些历史上下文进行反思与工具调度。如果没有现代 API 极高比例的缓存优化，运行一次端到端科学基准测试的账单成本将是天文数字。

但巨大的算力消耗并没有自动换来交付的确定性。这也直接向业界抛出了一个尖锐的权衡：在单任务吞吐数百万 Token 的时代，如何避免 Agent 把大量算力空转在“无效试错”与“自嗨式的长文本总结”中，而是真正分配算力去校验交付契约的每一项细节？

走出“虚假完成”：下一代科研 Agent 的演进方向

FrontierChallenge 提出的并非只是一套打分基准，它实质上为“AI for Science”中自主智能体的落地重构了一套严肃的工程范式。综合这项研究暴露出的核心痛点，未来的科研 Agent 架构如果想要真正跨越 20.6% 的交付天花板，必须在以下三个维度实现底层机制的革新：

第一，从“自由隐式推理”转向“显式状态与契约追踪”（Explicit Contract Tracking）。

当前的绝大多数 Agent 框架依赖系统提示词向模型灌输交付要求，期望模型在经历数十轮深度的工具调用和错误重试后，依然能在注意力中保持对交付物格式、命名、依赖关系的绝对记忆。事实证明，这是极其脆弱的。未来的科学 Agent 框架必须具备独立的契约管理模块，在任务下发时将科研契约解析为机器可感知的“状态机”或待办清单，对代码执行性、数据 Schema、图表渲染等进行实时打卡，而不是在最后让模型依靠主观意愿宣布结束。

第二，跨产物的双向自洽性自省（Cross-artifact Validation）。

科研交付的最核心价值在于“互为印证”。模型不能仅仅把报告当成纯文本来生成，而是必须在落盘前引入独立的校验代理（Critic），强制比对：报告里的拟合斜率是否等于 CSV 中的导出值？CSV 中的数值是否能用当前目录下的 Python 脚本在干净容器中完全复现？图表的 X/Y 轴范围与标注是否严格遵循了领域规范？通过这种显式的跨产物闭环校验，才能杜绝那种“分析逻辑精妙绝伦，落地脚本一跑就崩”的灾难断层。

第三，建立基于客观凭证的“自我终止协议”。

模型在轨迹结尾盲目自信的“伪完成”，暴露了当前强化学习与微调中对“对齐礼貌”的过度追求。在严肃科学场景下，必须对 Agent 的退出逻辑进行强约束：禁止模型仅凭主观意图输出“任务完成”；任务结束必须伴随着由环境 Grader 或沙箱运行器返回的非伪造验证签名。如果验证未通过，Agent 应该明确抛出阻断异常或明确列出未履约项，向人类研究员诚实报警，而不是生成一段充满幻觉的“完工假象”。

FrontierChallenge 的出现，给当下略显浮躁的“AI 科学家”热潮浇了一盆清醒的冷水。大语言模型已经展现出了令人惊叹的科学直觉、文献消化能力与专业软件操作潜质，80 多分的过程分证明它们绝非门外汉。但真正阻碍 AI 从“科研玩具”跨入“科研生产力”的，不是它懂得太少，而是它对完整交付的敬畏太浅。唯有正视这 20.6% 的严峻现实，将评测视角从“回答得有多好”彻底转向“交付得有多牢”，通往真正可信赖的自动化科学发现之路才算真正启程。