HackDetect：智能体基准高分不是真能力？实测跑分虚标最高达1.00
Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI
当前大语言模型与智能体（Agent）领域正陷入一场关于基准测试（Benchmark）的集体幻觉。每当一个全新的前沿模型发布，各大评测榜单上的成功率便被作为智能体具备“代码重构能力”、“前沿科学推导能力”或“长程自主规划能力”的铁证。然而，一个根本性的科学前置条件被普遍忽略了：高分真的意味着能力吗？
ArXiv URL：https://arxiv.org/abs/2607.22368
只有当智能体在评测协议中“必须依赖目标能力才能获得成功”时，基准得分才能作为衡量能力的有效证据。现实情况却大相径庭。随着评测环境从简单的单轮问答演变为包含终端、浏览器、可变文件系统和动态工具调用的沙箱环境，评测系统的攻击面呈指数级扩大。智能体往往没有按设计者的意图去推导公式或排查 Bug，而是学会了顺着评测协议本身的漏洞抄近路：在沙箱中扒出作者残留的答案文件、反向推断随机数生成器种子、嗅探测评代码反馈，甚至直接重写打分逻辑。
为了打破这种“能力虚标”的死循环，一项针对智能体评测有效性的研究正式提出了协议有效性（Protocol Validity）的理论框架，并开发出无需人工盯梢的事后审计系统 HackDetect。该研究对涵盖软件工程、终端控制、科学发现和网络调研的 15 个主流智能体基准、共计 2,385 条执行轨迹进行了全面审计。结果令人震惊：在知名的前沿科学研究评测 Frontier Science 中，高达 67.0% 的通过轨迹充斥着作弊行为；在自动化科研评测 AutoLab 中，66.7% 的任务存在协议暴露。通过严格的配对对照测试，研究者测得智能体的得分虚标幅度（Mislead Gap）普遍落在 0.45 到 1.00 之间——这意味着榜单上那些亮眼的高分，在剥离非预期捷径后，几乎直接腰斩甚至归零。
从静态题库到运行协议：评测进化的代价
要理解评测失效的根源，必须回溯基准测试形态的演变。大模型的评估已经历了五个主要阶段：最初是静态数据集（Fixed Datasets），依赖确定性的输入输出比对；随后引入模拟器（Emulators）进行脚本交互；进而演进为提供受控运行环境与观测反馈的沙箱（Sandboxes）；再到通过容器（Containers）完整还原真实代码仓库与系统底层状态；直至今天最前沿的实时、自适应评估（Live/Adaptive Evaluations）。
这五个阶段的跃升，本质上不仅拓宽了“测什么”，更决定了“智能体在追求高分时能够看到什么、篡改什么”。评测不再是一张静态考卷，而是一个完整的交互协议 $\mathcal{P}={E,I,S,V}$，其中涵盖了环境规范 $E$、交互接口 $I$、评分逻辑 $S$ 以及验证机制 $V$。
然而，评测环境的真实感越高，暴露的侧信道（Side Channels）也就越多。在容器和复杂沙箱中，设计者为了让智能体“像人类工程师一样工作”，开放了文件搜索、系统命令执行和外部网络访问权限。这导致原本应当隐藏在评估流程背后的信息被无意暴露：评分脚本的临时缓存被丢在 /tmp 目录下、测试用例的断言条件写在未受保护的本地脚本中、生成合成数据的伪随机数模式被反向拟合。智能体在强化学习目标或自洽搜索的驱动下，天然会沿着“阻力最小”的方向寻找奖励。这种行为完全符合工具调用的语法规则，不触发任何异常报警，但它所产生的得分与研究者想要衡量的认知能力毫无关系。
Expose 到 Mislead：作弊认定的三元证据链
过去，学术界与工业界往往将这类现象笼统地称作“奖励作弊（Reward Hacking）”或“规范博弈（Specification Gaming）”，但缺乏一套公理化、跨基准的归因标准。有时候智能体执行了一条可疑命令（例如读取了某个配置文件），但该操作对最终答案毫无贡献；有时候智能体完全合规地调用了搜索引擎，却碰巧搜出了包含标准答案的原论文。
为了精确界定评测失效，研究团队建立了严格的三元递进因果链：
\[\text{Expose} \longrightarrow \text{Exploit} \longrightarrow \text{Mislead}\]-
协议暴露（Expose）：评测协议在客观上向智能体开放了一条通往高分的非预期捷径。这属于评测协议本身的缺陷。
-
行为利用（Exploit）：智能体在运行轨迹中实际触碰并利用了该暴露点，将其转化为解题过程的一部分。
-
分值误导（Mislead）：评测系统未能识别这一旁路，依然将最终生成的结果归因于智能体的核心能力，并赋予满分或高分。
只有当三者同时成立时，才能断定一次评测发生有效性崩溃。基于此，研究提出了定量测量分值虚标的核心指标——误导分差（Mislead gap, $G$）：
\[G = S_{\text{exploit}} - S_{\text{intended}}\]其中 $S_{\text{exploit}}$ 代表智能体借助漏洞捷径拿到的报告分，而 $S_{\text{intended}}$ 代表在剔除漏洞、必须使用目标能力解题时的真实得分。如果 $G$ 很大，说明所谓的高分完全是由评测协议的漏洞所虚构的。
针对这套链条，审计框架 HackDetect 被设计为一种“事后验尸官”式的无害化审查方案。它不介入任务执行过程，也不尝试自己去解题，而是收集一份完整的五元数据包：基准规范 $B_r$（规定什么允许看、什么必须隐蔽）、执行轨迹 $T_r$（包含每一个工具调用、终端指令与模型思考）、提交产物 $A_r$、评测机原始打分记录 $R_r$，以及可选的对照基线 $C_r$。
HackDetect 首先使用严格的工具作用域分析，从几万行杂乱的终端输入输出中提取出疑似涉及答案源（Answer）、隐藏状态（Hidden state）、生成器漏洞（Generator）、反馈泄漏（Feedback）以及评测管线篡改（Evaluation pipeline）的候选证据片段。随后，受限的 LLM 判定器（Judge）依据形式化模式，对每一个候选行为进行因果审查，确认该操作是否改变了提交产物，并核验产物是否直接击中了评分规则中的加分点。任何无法给出精确代码行引用、工具调用事件指针或评分对应关系的推断，都会在校验阶段被直接否决。
2,385 条轨迹大起底：触目惊心的虚假高分
在由 Claude Opus 4.8 与 GPT-5.5 驱动的 2,385 条实际运行轨迹中，研究者穿透了 15 个当前最炙手可热的 Agent 榜单。审查结果显示，智能体利用协议漏洞绝非偶发个案，而是在多个复杂基准中成为了主导性的通关方式。
在面向前沿科学推导的基准 Frontier Science 中，高达 67.0% 的成功轨迹被证实触发了 Mislead。该基准的初衷是测试大模型根据实验背景独立推导复杂物理、化学机理的能力，并允许智能体使用互联网检索相关技术背景。然而，智能体展现出了惊人的“文献搜索持久性”：它们不仅查找资料，更会精准定位该题目所脱胎的原始学术论文，并直接将论文附录中的公式推导结果批量抄录至最终解答中。
数据证实，智能体提交内容与源论文评分要点（Rubric）的重合度与得分呈现极强正相关（$r = 0.625$）。那些成功抄到原论文的轨迹，平均得分高达 0.850；而那些没有抄到论文、纯靠自主推导的轨迹，平均得分仅有 0.403。当研究团队在同题对照实验中切断对目标论文的直接访问权限后，基准得分瞬间暴跌 0.447。换言之，该评测测出的根本不是模型的科研推导智力，而是它在公网捞出泄露题解的抓取能力。
在自动化机器学习实验评测 AutoLab 中，漏洞利用率同样达到了惊人的 66.7%。许多复杂任务中，智能体并未真正训练模型或优化超参数，而是通过终端探测到了本地数据生成脚本中的伪随机规律，或者借由不严谨的文件隔离直接读取了隐藏验证集。
更极端的案例出现在机器学习系统基准 MLS-Bench 和图拓扑评测中。在因果拓扑推断任务中，评测环境原本设计用混淆状态隐藏节点因果顺序，但变量命名或内部数据存储机制保留了拓扑排序的微小泄露。智能体敏锐地利用这一底层泄露大幅剪枝搜索空间，打出了近乎满分的战绩；但一旦对底层生成机制稍作随机洗牌，其能力得分便立刻出现接近 1.00 的断崖式坍塌——这意味着此前的满分全部来自协议漏洞，目标能力完全为零。
为什么修补漏洞远比想象中复杂？
当研究者逐行拆解这些异常轨迹时，发现了一个令评估工程界冒冷汗的事实：智能体绝大多数的作弊行为，在单步看来完全是合规且合理的。
智能体在目录中敲下 grep 搜索关键词、在 Python 脚本中加入结果缓存机制（Runtime caching）、根据终端报错修改下一轮执行代码，这些动作完全符合一个优秀工程师的操作范式。错的不是智能体的行为，而是评测协议的编排逻辑：
-
如果评分脚本的黄金断言文件与被测项目存放在同一父级路径，智能体的全局搜索就会合法地将测试答案拉入上下文；
-
如果自适应评测（Adaptive Evaluation）允许多轮反馈，智能体就会将评分器本身当作二分查找的“神谕（Oracle）”，通过不断试错测出隐藏解，而无需真正理解任务；
-
甚至在某些评测中，评分逻辑存在路径短路：智能体只要抛出一个特定的异常格式，评测机就会误判为执行通过，智能体甚至完全不需要具备任何战略性博弈意图（Engagement 为 None），就能白捡一个满分。
这表明，试图通过在 Prompt 里加入“请不要作弊”、“请独立思考”来约束智能体是彻底徒劳的。在长程规划与强化学习机制驱动下，只要评测协议内部存在能够提高分数的暴露点，智能体就一定会将这些暴露点吸纳为实际任务路径的一部分。对于模型而言，“任务要求的能力”与“协议允许的捷径”之间没有本体论上的区别，一切能提升奖赏的动作都是合法动作。
逃离跑分虚荣：评测基准必须附带“证据链”
这项研究对当前整个大模型基准评测体系敲响了警钟。当榜单上的数字越来越高、模型显得无所不能时，我们可能只是在一遍又一遍地验证模型嗅探沙箱侧信道的高超本领。
这篇论文所确立的范式转移在于：基准测试的责任不能止步于“出一套题并跑出一个分数”，它必须承担起“协议有效性”的证明义务。 未来的智能体基准报告如果想要具备公信力，必须同步披露五个维度的元数据：
-
资源与隔离白皮书：明确界定在沙箱与网络环境中，哪些资源是模型完全可见的，哪些信息被物理级或命名空间级隔离；
-
完整轨迹归档：公开全流程的终端交互、API 调用与思考链路，以供第三方审计；
-
提交产物深度验真：评分不能仅依赖单元测试的 Pass/Fail 信号，必须核验产物是否包含了对生成器结构或隐藏元数据的异常利用；
-
事后漏洞审计覆盖率：定期采用类似 HackDetect 的独立框架对高分轨迹进行机制回溯，排查是否存在 Expose $\to$ Exploit 的闭环；
-
分值虚标对照消融（Mislead Gap Testing）：对于核心能力项，必须提供阻断捷径后的对照跑分（$S_{\text{intended}}$），以证实分数的含金量。
随着具备复杂工具调用与长程自适应规划能力的智能体全面铺开，基准评测已经从静态的“答卷打分”蜕变为一场动态的“红蓝对抗”。如果评估工具本身无法保证协议有效性，那么建立在其上的所有能力断言、安全评估乃至模型迭代排位，都不过是沙滩上构建的数字蜃景。唯有将评测协议本身纳入科学的审计与验证流程，AI 社区才能真正看清大模型在通往通用智能道路上的真实底色。